数据挖掘应用平台及其关键技术研究.doc

学校代码 10246 学 号 990307 博 士 学 位 论 文 数据挖掘应用平台及其关键技术研究数据挖掘应用平台及其关键技术研究 院 系 计算机与信息技术系 专 业 计算机软件 姓 名 朱建秋 指 导 教 师 朱扬勇 教授 完 成 日 期 2002 年 4 月 25 日 数据挖掘应用平台及其关键技术研究数据挖掘应用平台及其关键技术研究 The Research on A Data Mining Platform and It s Key Technologies 朱建秋 导导 师师 朱扬勇 教授 指导小组成员指导小组成员 施伯乐 教授 胡运发 教授 顾 宁 教授 目 录 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文i 目目 录录 摘 要 1 ABSTRACT 3 第一章前言 5 1 1 立论背景和研究意义 5 1 1 1 立论背景 5 1 1 2 研究意义 6 1 2 研究现状 6 1 2 1 数据挖掘技术 6 1 2 2 数据挖掘系统 7 1 3 存在的问题及研究方向 10 1 4 本文工作 11 1 4 1 研究内容 11 1 4 2 本文结构 14 第二章 数据挖掘系统的发展及问题分析 15 2 1 引言 15 2 2 数据挖掘过程模型 16 2 2 1 Fayyad 过程模型及数据挖掘定义 16 2 2 2 CRISP DM 过程模型及数据挖掘商业定义 17 2 3 四代数据挖掘系统 19 2 4 数据挖掘系统发展的三个阶段 21 2 4 1 独立的数据挖掘系统 21 2 4 2 横向的数据挖掘工具 21 2 4 3 纵向的数据挖掘解决方案 22 2 5 问题分析 23 2 5 1 提出问题 23 2 5 2 闭环问题 24 2 5 3 用户问题 25 2 5 4 过程模型问题 26 2 5 5 数据挖掘应用平台 28 2 6 本章小结 28 目 录 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文ii 第三章 数据挖掘应用平台 29 3 1 数据挖掘应用平台框架 29 3 1 1 数据挖掘系统的用户 29 3 1 2 扩展的 CRISP DM 模型 30 3 1 3 数据挖掘应用平台框架 32 3 1 4 框架 平台 系统 34 3 2 数据挖掘应用平台总体设计 35 3 2 1 体系结构 35 3 2 2 功能模块 35 3 3 数据挖掘应用平台关键技术分析 39 3 3 1 数据源到指标体系的映射 39 3 3 2 业务模型和算法的映射 39 3 3 3 数据挖掘模型的融合 39 3 3 4 数据挖掘模型的表示 40 3 3 5 数据挖掘应用平台建模语言 42 3 4 数据挖掘应用平台特色 43 3 4 1 基于构件的软件设计方法 43 3 4 2 横向工具和纵向解决方案的融合 43 3 4 3 与其他数据挖掘系统的比较 44 3 5 本章小结 45 第四章 数据挖掘算法层 47 4 1 引言 47 4 2 带负属性的关联规则算法 47 4 2 1 关联规则研究现状 47 4 2 2 问题描述 49 4 2 3 相关概念 49 4 2 4 算法描述 50 4 2 5 实验结果 52 4 3 带时间特征的序列模式算法 TESP 53 4 3 1 序列模式研究现状 53 4 3 2 问题描述 54 4 3 3 相关概念 55 4 3 4 TESP 算法 56 4 3 5 试验结果 59 目 录 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文iii 4 4 决策树算法 DMTREE 60 4 4 1 分类算法研究现状 60 4 4 2 问题描述 61 4 4 3 DMTree 算法设计 61 4 4 4 DMTree 的分割指标 62 4 4 5 DMTree 的 MDL 修剪 63 4 5 基于遗传算法的前馈神经网络分类算法 64 4 5 1 问题描述 64 4 5 2 BP 算法 65 4 5 3 遗传学习算法 65 4 5 4 基于遗传学习算法和 BP 算法的前馈网络 66 4 6 CLIQUE 聚类算法 66 4 6 1 聚类研究现状 66 4 6 2 问题描述 68 4 6 3 CLIQUE 算法描述 68 4 7 异常检测 LOF 算法 69 4 7 1 异常检测研究现状 69 4 7 2 问题描述 71 4 7 3 局部异常 LOF 的形式定义 71 4 7 4 LOF 算法分析及优化 72 4 8 本章小结 73 第五章 业务逻辑层 74 5 1 数据挖掘技术在 CRM 领域的应用 74 5 2 客户特征化和指标体系 74 5 2 1 客户特征化 Customer Profiling 74 5 2 2 客户特征化构建方法 75 5 2 3 CRM 数据挖掘应用平台的指标体系 75 5 3 产品推荐模型 76 5 3 1 基本概念 76 5 3 2 研究现状 77 5 3 3 实现的方法 78 5 4 客户获取模型 79 5 4 1 基本概念 79 5 4 2 传统方法 80 目 录 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文iv 5 4 3 实现的数据挖掘方法 81 5 5 直销和客户响应模型 81 5 5 1 基本概念 81 5 5 2 传统方法 83 5 5 3 实现的数据挖掘方法 84 5 6 客户流失模型 85 5 6 1 基本概念 85 5 6 2 直接预测方法 85 5 6 3 指标选择 86 5 6 4 流失预测 86 5 6 5 抑制链式反应 87 5 7 客户价值模型 87 5 7 1 基本概念 87 5 7 2 潜在价值 PV 88 5 7 3 生命周期价值 LTV 88 5 7 4 实现的方法 89 5 8 业务模型建模语言 DMAPML 89 5 8 1 业务建模任务 90 5 8 2 模型 92 5 9 本章小结 92 第六章 基于数据挖掘应用平台的系统 93 6 1 关联规则挖掘工具 ARMINER 93 6 1 1 系统概述 93 6 1 2 系统功能 93 6 1 3 系统特色 94 6 1 4 系统应用 96 6 2 数据挖掘工具集 DMINER 96 6 2 1 系统概述 96 6 2 2 系统功能 97 6 2 3 系统特色 98 6 2 4 系统应用 99 6 3 客户智能分析系统 CIAS 100 6 3 1 系统概述 100 6 3 2 系统功能 101 目 录 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文v 6 3 3 系统特色 103 6 4 本章小结 104 第七章 结束语 105 7 1 本文工作 105 7 2 结论 106 7 3 后续工作 106 参考文献 108 攻读学位期间作者的工作成果 115 致 谢 116 摘 要 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文1 摘摘 要要 数据挖掘是从大量的数据中发现其潜在规律的技术 是当前计算机科学研 究的热点之一 经过十多年的发展 研究重点逐渐从发现方法转向系统应用 注重多种发现策略和技术的集成 以及多学科之间的相互渗透 数据挖掘系统 也从第一 二代系统转向第三 四代系统的研制 数据挖掘是面向应用的多学科交叉领域 应用推动了数据挖掘技术和理论 的研究 而数据挖掘系统是数据挖掘研究和应用的桥梁 对数据挖掘技术的推 广起到很大的作用 如何将现有的算法集中在一个统一的框架下 并且与特定 的领域相结合 构造出能被各种层次的用户所接受的数据挖掘系统 是数据挖 掘系统研究需要迫切解决的问题之一 本文研究第三代数据挖掘系统设计及其实现的关键技术 提出了一个统一 的框架 设计并实现了基于第三代技术的数据挖掘应用平台 对数据挖掘系统 的建设和发展具有理论和实际的指导意义 本文主要工作如下 1 提出将数据挖掘系统从技术角度划分为四代 从发展观点经历三个阶段的 论断 从而归纳出数据挖掘系统与应用相结合的趋势 提出数据挖掘应用 平台的概念 2 构建了一种新颖的数据挖掘体系结构 将数据挖掘划分成数据层 算法层 业务逻辑层 行业表示层五个层次 本文扩展了 CRISP DM 数据挖掘过程 模型 增加了过程模型对用户角色和闭环特征的支持 在此基础上设计了 数据挖掘应用平台的框架和体系结构 提出通用的平台不能解决特定的领 域问题 应该和各个领域的业务逻辑相结合构建应用平台 最后在行业具 体应用上进行实施的论点 3 改进和优化了部分数据挖掘算法 提高了算法的性能和适用范围 提出了 带负属性的关联规则算法和带时间特征的序列模式算法 TESP 带负属性的 关联规则算法引入兴趣度作为评价的准则 并对传统关联规则算法进行改 进 使得其能够挖掘带负属性的关联规则 TESP 算法引入序列模式时间特 征的概念 在找出模式的同时 也给出序列模式的时间特征 并且允许用 户在挖掘之前对模式的这些时间特征进行限制 提高了序列模式挖掘的灵 活性和有用性 将遗传算法和 BP 神经网络相结合 研制了基于遗传算法 的前馈神经网络分类算法 对决策树算法 SLIQ 局部异常因子检测 LOF 等 算法给出了设计和实现上的优化 4 提出在客户关系管理 CRM 领域构建业务逻辑层的体系架构 利用数据 挖掘技术为客户行为建模 设计并实现了五个业务模型 产品推荐 客户 摘 要 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文2 获取 客户流失 客户价值 客户响应 5 设计并实现了数据抽取转换装载工具 DMETL 关联规则工具 ARMiner 和数 据挖掘工具集 DMiner 以及客户智能分析系统 CIAS 关键词关键词 数据挖掘应用平台 业务逻辑 业务模型 客户行为建模 构件 中图分类号中图分类号 TP302 Error Error ReferenceReference sourcesource notnot found found 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文3 Abstract Data Mining is a process of extracting previously unknown actionable information from very large database and is a hot field in the research of computer science now The emphases of research are moving from discovering techniques into system applications after more than ten years development It now pays more attention to the integration of several discovering strategies and techniques and infiltration of multiple subjects The data mining systems are moving from 1st 2nd generations into 3rd 4th generations Data mining is an application oriented multiple subject intersectional field and the data mining techniques and theories are motivated by applications Data mining systems are the bridges between data mining researches and applications and play an important role in popularization of data mining techniques It is an exigent problem to be solved in the research of data mining systems how to collect existing algorithms under a uniform framework integrating with specific domains and how to construct the data mining systems that can be accepted by different users In this paper we have a study on the key techniques in designing and implementing 3rd generation data mining systems and propose a uniform framework design and implement a Data Mining Application Platform based on 3rd generation techniques It may be a theoretical and practical guidance for the construction and development of data mining systems The majority of our work is summarized here 1 Propose the conclusion to break the development of data mining systems into four generations from technique aspect and three phases from evolution aspect then induce the trend that data mining systems should be integrated with applications and bring forward the concept of Data Mining Application Platform 2 Design a novel data mining system architecture that divides data mining into five layers data layer algorithm layer business rule layer business presentation layer In this article we extend the CRISP DM data mining process model by adding process model s support to user role and closed loop then design the framework and architecture of Data Mining Application Platform We conclude that the universal platform cannot solve the problem in specific domain and we should construct the application platform through Error Error ReferenceReference sourcesource notnot found found 数据挖掘应用平台及其关键技术研究复旦大学博士学位论文4 integrating with business rules then implement in specific applications 3 Improve and optimize some data mining algorithms improve the performance and applicable range of the algorithms We bring forward the association rule algorithm with negative attributes and sequential pattern algorithm with time characteristic TESP The association rule algorithm with negative attributes introduces interesting as the criterion of evaluation and makes some improvements to be able to mine association rules with negative attributes TESP introduces the concept of sequential pattern s time characteristic it gives the time characteristic of sequential patterns when finding the patterns and it also allows user to put some restricts on the time characteristic of sequential patterns in order to improve the usefulness and flexibility of sequential pattern mining We integrate the ge