数据发掘数据挖掘大数据发展流程与应用

数据发掘技术1数据发掘数据挖掘大数据发展流程与应用5/8/2024五、

主要特点三、 数据挖掘的应用领域四、 数据挖掘技术流程二、 数据挖掘的发展阶段一、 数据挖掘的涵义和挖掘对象六、成功案例2数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘的涵义和挖掘对象

数据挖掘（英语：Datamining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-DiscoveryinDatabases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。挖掘对象根据信息存储格式，用于挖掘的对象有关系数据库、面向对象数据库、数据仓库、文本数据源、多媒体数据库、空间数据库、时

态、数据库、异质数据库（数据单元由不同类的对象组成）以及internet等。3数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘的发展阶段第一阶段：电子邮件阶段第二阶段：信息发布阶段

从1995年起，以Web技术为代表的信息发布系统，爆炸式地成长起来，成为目前Internet的主要应用。中小企业如何把握好从“粗放型”到“精准型”营销时代的电子商务。这个阶段可以认为是从70年代开始，平均的通讯量以每年几倍的速度增长。4数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘的发展阶段第三阶段：

EC(ElectronicCommerce）即电子商务阶段

EC在美国也才刚刚开始，之所以把EC列为一个划时代的东西，是因为Internet的最终主要商业用途，就是电子商务。同时反过来也可以说，若干年后的商业信息，主要是通过Internet传递。Internet即将成为我们这个商业信息社会的神经系统。1997年底在加拿大温哥华举行的第五次亚太经合组织非正式首脑会议（APEC）上美国总统克林顿提出敦促各国共同促进电子商务发展的议案，其引起了全球首脑的关注，IBM、HP和Sun等国际著名的信息技术厂商已经宣布1998年为电子商务年。5数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘的发展阶段第四阶段：全程电子商务阶段随着SaaS（Softwareasaservice）软件服务模式的出现，软件纷纷登陆互联网[5]，延长了电子商务链条，形成了当下最新的“全程电子商务”概念模式。也因此形成了一门独立的学科——数据挖掘与客户关系管理硕士。6数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘软件数据挖掘软件SASEM（文本和数据）IBM旗下SPSS公司的Modeler神舟通用公司的K-Miner7数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘软件8数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘的应用领域被广泛应用在西方金融行业企业中，它可以成功预测银行客户需求。一旦获得了这些信息，银行就可以改善自身营销。现在银行天天都在开发新的沟通客户的方法。各银行在自己的ATM机上就捆绑了顾客可能感兴趣的本行产品信息，供使用本行ATM机的用户了解。

如果数据库中显示，某个高信用限额的客户更换了地址，这个客户很有可能新近购买了一栋更大的住宅，因此会有可能需要更高信用限额，更高端的新信用卡，或者需要一个住房改善贷款，这些产品都可以通过信用卡账单邮寄给客户。当客户打电话咨询的时候，数据库可以有力地帮助电话销售代表。销售代表的电脑屏幕上可以显示出客户的特点，同时也可以显示出顾客会对什么产品感兴趣。9数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘的应用领域

一些知名的电子商务站点也从强大的关联规则挖掘中的受益。这些电子购物网站使用关联规则中规则进行挖掘，然后设置用户有意要一起购买的捆绑包。也有一些购物网站使用它们设置相应的交叉销售，也就是购买某种商品的顾客会看到相关的另外一种商品的广告。10数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘技术流程从数据本身来考虑，通常数据挖掘需要有数据清理、数据变换、数据挖掘实施过程、模式评估和知识表示等8个步骤。

信息收集数据集成数据规约数据清理数据变换数据挖掘过程模式评估知识表示数据预处理这是一个反复循环的过程，每一个步骤如果没有达到预期目标，都需要回到前面的步骤，重新调整并执行。不是每件数据挖掘的工作都需要这里列出的每一步，例如在某个工作中不存在多个数据源的时候，步骤（2）数据集成的步骤便可以省略。至少60%的费用至少60%以上的精力和时间11数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘技术流程（1）信息收集：根据确定的数据分析对象抽象出在数据分析中所需要的特征信息，然后选择合适的信息收集方法，将收集到的信息存入数据库。对于海量数据，选择一个合适的数据存储和管理的数据仓库是至关重要的。（2）数据集成：把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。12数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘技术流程（3）数据规约：执行多数的数据挖掘算法即使在少量数据上也需要很长的时间，而做商业运营数据挖掘时往往数据量非常大。数据规约技术可以用来得到数据集的规约表示，它小得多，但仍然接近于保持原数据的完整性，并且规约后执行数据挖掘结果与规约前执行结果相同或几乎相同。（4）数据清理：在数据库中的数据有一些是不完整的（有些感兴趣的属性缺少属性值），含噪声的（包含错误的属性值），并且是不一致的（同样的信息不同的表示方式），因此需要进行数据清理，将完整、正确、一致的数据信息存入数据仓库中。不然，挖掘的结果会差强人意。13数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘技术流程（5）数据变换：通过平滑聚集，数据概化，规范化等方式将数据转换成适用于数据挖掘的形式。对于有些实数型数据,通过概念分层和数据的离散化来转换数据也是重要的一步。

（6）数据挖掘过程：根据数据仓库中的数据信息，选择合适的分析工具，应用统计方法、事例推理、决策树、规则推理、模糊集、甚至神经网络、遗传算法的方法处理信息，得出有用的分析信息。14数据发掘数据挖掘大数据发展流程与应用5/8/2024数据挖掘技术流程（7）模式评估：从商业角度，由行业专家来验证数据挖掘结果的正确性。（8）知识表示：将数据挖掘所得到的分析信息以可视化的方式呈现给用户，或作为新的知识存放在知识库中，供其他应用程序使用。15数据发掘数据挖掘大数据发展流程与应用5/8/2024主要特点软件的评价越来越多的软件供应商加入了数据挖掘这一领域的竞争。用户如何正确评价一个商业软件，选择合适的软件成为数据挖掘成功应用的关键。评价一个数据挖掘软件主要应从以下四个主要方面：计算性能，如该软件能否在不同的商业平台运行；软件的架构；能否连接不同的数据源；运行的稳定性等；功能性，如软件是否提供足够多样的算法；软件提供的算法能否应用于多种类型的数据；用户能否调整算法和算法的参数；软件能否从数据集随机抽取数据建立预挖掘模型等；可用性如用户界面是否友好；软件是否易学易用；软件面对的用户：初学者，高级用户还是专家等；

辅助功能如是否允许用户更改数据集中的错误值或进行数据清洗；是否允许值的全局替代；能否根据用户制定的规则从数据集中提取子集；能否将数据中的空值用某一适当均值或用户指定的值代替；能否将一次分析的结果反馈到另一次分析中，等等。16数据发掘数据挖掘大数据发展流程与应用5/8/2024成功案例数据挖掘帮助CredilogrosCíaFinancieraS.A.改善客户信用评分CredilogrosCíaFinancieraS.A.是阿根廷第五大信贷公司，资产估计价值为9570万美元，对于Credilogros而言，重要的是识别与潜在预先付款客户相关的潜在风险，以便将承担的风险最小化。

该公司的第一个目标是创建一个与公司核心系统和两家信用报告公司系统交互的决策引擎来处理信贷申请。同时，Credilogros还在寻找针对它所服务的低收入客户群体的自定义风险评分工具。除这些之外，其他需求还包括解决方案能在其35个分支办公地点和200多个相关的销售点中的任何一个实时操作，包括零售家电连锁店和手机销售公司。

最终Credilogros选择了SPSSInc.的数据挖掘软件PASWModeler，因为它能够灵活并轻松地整合到Credilogros的核心信息系统中。通过实现PASWModeler，Credilogros将用于处理信用数据和提供最终信用评分的时间缩短到了8秒以内。这使该组织能够迅速批准或拒绝信贷请求。该决策引擎还使Credilogros能够最小化每个客户必须提供的身份