数据挖掘工具应用及前景分析

数据挖掘工具应用及前景2介绍以下数据挖掘工具分别为：1、 Intelligent Miner2、 SAS Enterpreise Miner3、S PSS Clementine4、马 克 威 分 析 系 统5、GDMIntelligent Miner一、综述：IBM 的 Exterprise Miner 简单易用，是理解数据挖掘的好的开始。能处理大数据量的挖掘，功能一般，可能仅满足要求没有数据探索功能。与其他软件接口差，只能用 DB2，连接 DB2 以外的数据库时，如 Oracle, SAS, SPSS 需 要安装 DataJoiner 作为中间软件。难以发布。结果美观，但同样不好理解。二、基本内容：一个挖掘项目可有多个发掘库组成；每个发掘库包含多个对象和函数对象：数据:由函数使用的输入数据的名称和位置。 离散化:将记录分至明显可识别的组中的分发操作。名称映射:映射至类别字段名的值的规范。结果:由函数创建的结果的名称和位置。分类:在一个项目的不同类别之间的关联层次或点阵。 值映射:映射至其它值的规范。函数：发掘:单个发掘函数的参数。预处理:单个预处理函数的参数。序列:可以在指定序列中启动的几个函数的规范。 统计:单个统计函数的参数。统计方法和挖掘算法：单变量曲线，双变量统计，线性回归，因子分析，主变量分析，分类，分群，关联，相似序列，序列模式，预测等。处理的数据类型：结构化数据(如：数据库表，数据库视图，平面文件) 和半结构化或非结构化数据 (如：顾客信件，在线服务，传真，电子邮件，网页等) 。架构：它采取客户/服务器（ C/S）架构，并且它的 API 提供了 C+类和方法Intelligent Miner 通过其独有的世界领先技术，例如自动生成典型数据集、发现关联、发现序列规律、概念性分类和可视化呈现，可以自动实现数据选择、数据转换、数据挖掘和结果呈现这一整套数据挖掘操作。若有必要，对结果数据集还可以重复这一过程，直至得到满意结果为止。三、现状：现在，IBM 的 Intelligent Miner 已形成系列，它帮助用户从企业数据资产中识别和提炼有价值的信息。它包括分析软件工具Intelligent Miner for Data 和IBM Intelligent Miner forText ，帮助企业选取以前未知的、有效的、可行的业务知识3如客户购买行为，隐藏的关系和新的趋势，数据来源可以是大型数据库和企业内部或Internet 上的文本数据源。然后公司可以应用这些信息进行更好、更准确的决策，获得竞争优势。四、挖掘案例:( 客户细分)1. 商业需求:： 客户细分2. 数据理解 :根据用户基本信息( 实际上还包括客户消费行为,人口统计信息等,本示例为简单起见,只在这个表的数据基础上进行挖掘 )进行客户细分3. 数据准备:4. 建模:选择挖掘模型（比如是分群，还是分类）确定模型输入，需要做的处理，结果分析选择模型输入字段:挖掘模型选择：神经分群发掘函数使用了一个 Kohonen 特征映射神经网络。Kohonen 特征映射使用一个称作自组织的进程来将相似的输入记录组合在一起。您可以指定群集的数目和遍数。这些参数控制进程时间和将数据记录分配到群集时使用的粒度程度。分群的主任务是为每个群集查找中心。此中心也称为称为原型。对于每个在输入数据中的每个记录，神经分群发掘函数计算和记录计分最近的群集原型。每个数据记录的计分是用到群集原型的欧几里得距离表示的。计分越靠近 0，与群集原型的相似性程度就越高。计分越高，记录与群集原型就越不相似。输入数据的每个 遍历，中心被调整来达到更好的整个分群模型质量。在发掘函数运行时，进度指示器显 示每次遍历的质量改进状况。4. 建模:选择模型:指定输入数据:4选择分群方式:5分群模型设置概要:5. 运行模型:点击蓝色按钮运行模型，运行模型进程：模型结果分析：运行结果（群）：6运行结果，统计：从上面两个图中我们可以看出一些有意义的分群，根据 consume_level 和online_duration 分群有一定意义。而比如用 gender 进行的分群我们可以直接观察出来，意义不大，只有两个大类，可以直观地看出男女比例：consume_level(消费层次 )的群特征信息：可以看出在第 2、3 类消费层次占的比重较大。7在线通话时长的一点分析：从上面图中可以看出，大部分客户每一个月消费是 50 元以下的。50-200 各区间逐步8递 减；而一个月消费 300 以上的，也从 3%，8%，12%逐渐递增的态势。挖掘的这些消费 分群信息，对有针对性的营销，提前对客户进行细分是很有意义的。6 保存调出模型：客户分类挖掘示例(待续 )：采用一样的数据，对客户消费水平进行分类预测(consume_level)混淆矩阵： 分类百分率：9SAS Enterprise Miner一、综述：SAS完仝以统计理论为基础，功能强大，有完备的数据探索功能。但难以掌握，要求是高级统计分析专业人员结果难以理解。价格也极其昂贵，而且是租赁模式。二、基本内容：支持 SAS 统计模块，使之具有杰出的力量和影响，它还通过大量数据挖掘算法增强了那些模块。SAS 使用它的 SEMMA 方法学以提供一个能支持包括关联、聚类、决策树、神经元网络和统计回归在内的广阔范围的模型数据挖掘工具。 SAS Entelprise Miner 设计为被初学者和有经验的用户使用。它的 GUI 界面是数据流驱动的，且它易于理解和使用。它允许一个分析者通过构造一个使用链接连接数据结点和处理结点的可视数据流图建造一个模型。另外，此界面允许把处理结点直接插入到数据流中。由于支持多种模型，所以 Enterprise Miner 允许用户比较(评估) 不同模型并利用评估结点选择最适合的。另外，Enterprise Miner 提供了一个能产生被任何 SAS 应用程序所访问的评分模型的评分结点。 三 、 用 户 配 置 :SAS Enterprise Miner 能 运 行 在 客 户 服 务 器 上 或 (计 算机 的 外 围 设 备 )能 独 立 运 行 的 配 置 上 。 此 外 ， 在 客 户 服 务 器 模 式 下 ，Enterprise Miner 允 许 把 服 务 器 配 置 成 一 个 数 据 服 务 器 、 计 算 服 务 器 或 两 者的 综 合 。 EntepnseMiner 被 设 计 成 能 在 所 有 SAS 支 持 的 平 台 上 运 行 。 该 结构 支 持 胖 客 户 机 配 置 (要 求 客 户 机 上 的 完 全 SAS 许 可 证 )以 及 瘦 客 户 机 (浏 览器 )版 本 。四 、 数 据 挖 掘 技 术 、 算 法 和 应 用 程 序 ：SAS Entelprise Miner 支 持 关 联 、 聚 类 、 决 策 树 、 神 经 元 网 络 和 经 典 的 统 计回 归 技 术 。五 、 前 景 ： 它 在 统 计 分 析 软 件 上 的 丰 富 经 验 ， 所 以 SAS 开 发 出 了 一 个 全功 能 、 易 于 使 用 、 可 靠 和 易 于 管 理 的 系 统 。 模 型 选 项 和 算 法 所 覆 盖 的 广 阔 范围 、 设 计 良 好 的 用 户 界 面 、 现 存 数 据 商 店 的 能 力 和 在 统 计 分 析 市 场 所 占 的 巨大 份 额 (允 许 一 个 公 司 获 得 一 个 增 加 的 SAS 部 件 而 不 是 一 个 新 的 工 具 )都 可能 使 SAS 在 数 据 挖 掘 市 场 上 取 得 领 先 位 置 。 由 于 它 最 近 刚 投 放 市 场 ， 所 以在 写 此 书 时 只 能 获 得 少 数 公 布 的 用 户 基 推 测 试 。 这 些 结 果 表 明 Enterprise Miner 在 可 伸 缩 性 、 预 测 准 确 性 和 处 理 时 间 上 都 表 现 得 很 好 。 总 的 来 说 ， 此工 具 适 合 于 企 业 在 数 据 挖 掘 方 面 的 应 用 以 及 CBM 的 全 部 决 策 支 持 应 用 。10六、案例：SAS 软件成就安利（中国）高效物流安利（中国）透过库存优化系统提升服务效率 20%，客户满意率指标达到 97%安利是国际上知名的直销企业，1992 年进入中国市场。目前，中国是安利在全球最大的市场，安利（中国）2008 年的销售业绩达 179 亿元人民币，占安利全球收入的 1/3 强，并且保持着强劲的增长势头。目前，安利（中国）拥有 1000 多种产品，全国共有 229 间店铺、29 个配送中心、22 个外仓和 1 个 4 万平方米的物流中心，仓库总面积达 10 万平方米，存储量达 5.6 万个卡板，每年的运输里程 1,396 万公里，相当于绕地球 349 圈。安利(中国)特有的“店铺+直销+经销”的多元化营销模式和频繁而快速的的市场促销活动，加大了库存管理的难度，要求运营流程和相关人员具有更高的灵活应变能力。 为了更好地配合安利业务的高速发展，使得信息流的发展能够与未来企业供应链的飞速发展相适应并具有一定的前瞻性，安利（中国）管理层决定进一步深化当前的商业分析应用，在供应链管理方面引入 SAS 技术，建立“ 库存优化系统 (Inventory Optimization System，缩写 IOS )”，统筹考虑各种相互约束的条件，将“正确的产品” 以“正确的成本”在“ 正确的时间”送达“ 正确的地点” ，实现对复杂市场环境的快速反应，从而进一步提高企业的市场竞争力。 库存优化系统（IOS）的主要功能 IOS 是一种极为有效的库存管理工具，它提供了基于服务水平、交货时间和成本等用户指定的约束条件测算最佳库存水平和模式的能力。具体功能如下：1.多层次的产品