数据挖掘与知识管理.ppt

数据挖掘与知识管理 第一节数据挖掘技术 一 数据挖掘1 数据挖掘的概念数据挖掘 DataMining 简称DM 是指在数据库或数据仓库中 利用各种分析技术和方法 将大量的历史数据进行分析 归纳和整合 提取有用信息 为组织的决策提供参考 2 决策中的数据挖掘在决策过程的智能阶段 数据挖掘起着重要的作用 在小型组织中 高层管理者对于发生了什么事情是十分清楚的 他们可以通过沟通发现问题并形成决策陈述 在大中型组织中 高层管理者不可能去关心每一件发生的事情 更不用说去了解每个细节的发展变化 在有完善的数据积累的组织中 每个细节总是以数据的形式很好地保存于数据库中 此时可根据决策者的要求开发数据仓库 但数据仓库更适合于信息管理人员的习惯 直接通过数据仓库难以发现有价值的信息 二 数据挖掘的过程数据挖掘的一般流程如图10 2所示 具体见第五部分的案例中 三 数据挖掘的技术常见的数据挖掘技术有 1 聚类分析 ClusteringAnalysis 聚类方法主要有统计聚类和模糊聚类 通过聚类可以进行分类 预测和发现异常信息 2 决策树 DecisionTree 决策树方法被成功地应用于信用卡损失和不同的国际流通货币的时序预测等各种问题中 一般可用于探索问题 数据预处理和预测中 目前常用的有ID3 CHAID和CART等几种典型的算法 决策树算法的主要优点是直观 其缺点在于随着数据复杂性的增加 分支数会增加 对数据仓库的搜索次数会增加 管理难度会加大 3 神经网络 NeuralNetwork 神经网络虽然在易用性和易理解性方面受到了限制 但其正确率很高 它通过学习发现规律 然后进行预测 神经网络可用于聚类 异常发现 特征制取和预测 4 关联分析 AssociationAnalysis 关联分析方法是由DovetailSolutions公司的MiguelCastro博士提供 它又称为MB 货篮子分析 可用于销售配售 商店陈列 产品目录 定价和促销等方面 5 粗糙集方法 RoughSet 在20世纪70年代 波兰学者Z Pawlak和一些波兰的逻辑学家们一起从事关于信息系统逻辑特性的研究 粗糙集理论是Pawlak于1982年提出的分析不完整 不确定性数据的新的数学理论 6 遗传算法 GeneticAlgorithms 遗传算法是霍兰等人于20世纪40年代提出的 以生物进化的过程为基础 加以交叉 变异和选择运算 逐步得到问题的最优解 四 基于Web的数据挖掘网络数据挖掘形式多样 根据不同的网络数据挖掘对象 人们将网络数据挖掘分为网络内容挖掘 WebContentMining 网络结构挖掘 WebStructureMining 以及网络使用挖掘 WebUsageMining 五 案例犯罪程度预测表10 2是关于违法犯罪涉嫌人员数据仓库中的信息 根据属性建立其决策树 表10 2违法犯罪涉嫌人员数据仓库中的信息 对上表中的属性值进行编号 得到表10 3 表10 3对数据仓库中的属性进行编号 表10 3中 犯罪程度较轻有7个记录 s1 7 严重有10个记录 s2 10 此时I 7 17 log27 17 10 17 log210 17 0 977对有无固定职业来说 s1 10 s2 7 s11 3表示在无固定职业的记录中犯罪程度较轻的人数 s21 7则是在无固定职业的记录中犯罪程度严重的记录数 s12 4是在有固定职业的记录中犯罪程度较轻的记录数 s22 3是在有固定职业的记录中犯罪程度严重的记录数 I1 3 10 log23 10 7 10 log27 10 0 881I2 3 7 log23 7 4 7 log23 7 0 985E 有无固定职业 10 17 0 881 7 17 0 985 0 924Gain 有无固定职业 I E 有无固定职业 0 977 0 924 0 053 对于家庭经济状况而言 s1 12 s11 3 s21 9 I1 3 12 log23 12 9 12 log29 12 0 811s2 3 s12 2 s22 1 I2 2 3 log22 3 1 3 log21 3 0 918s3 2 s13 2 s23 0 I3 2 2 log22 2 0E 家庭经济状况 12 17 0 811 3 17 0 918 2 17 0 0 734Gain 家庭经济状况 I E 家庭经济状况 0 977 0 734 0 243对于年龄而言 s1 4 s11 3 s21 1 I1 3 4 log23 4 1 4 log21 4 0 918s2 4 s12 2 s22 2 I2 2 4 log22 4 2 4 log22 4 1s3 6 s31 2 s32 4 I3 2 6 log22 6 4 6 log24 6 0 918s4 3 s41 0 s42 3 I4 3 3 log23 3 0E 年龄 4 17 0 918 4 17 1 6 17 0 918 3 17 0 0 750Gain 年龄 I E 年龄 0 977 0 750 0 227 对于有无特长 s1 10 s11 6 s21 4 I1 6 10 log26 10 4 10 log24 10 0 971s2 7 s12 1 s22 6 I2 1 7 log21 7 6 7 log26 7 0 592E 特长 10 17 0 592 7 17 0 971 0 815Gain 特长 I E 特长 0 977 0 748 0 162对于社会关系犯罪记录 s1 11 s11 7 s21 4 I1 7 11 log27 11 4 11 log24 11 0 946s2 6 s12 0 s22 6 I2 6 6log26 6 0E 社会关系犯罪记录 11 17 0 946 0 612Gain 社会关系犯罪记录 I E 社会关系犯罪记录 0 977 0 612 0 365 对于家庭和睦状况 s1 9 s11 4 s21 5 I1 4 9 log24 9 5 9 log25 9 0 991s2 6 s12 2 s22 4 I2 2 6 log22 6 4 6 log24 6 0 918s3 2 s13 1 s23 1 I3 1 2 log21 2 1 2 log21 2 1E 家庭和睦状况 9 17 0 991 6 17 0 918 2 17 1 0 966Gain 家庭和睦状况 I E 家庭和睦状况 0 977 0 966 0 011 对于本人有无犯罪记录 s1 8 s11 3 s21 5 I1 3 8 log23 8 5 8 log25 8 0 954s2 9 s12 4 s22 5 I2 4 9 log24 9 5 9 log25 9 0 991E 本人有无犯罪记录 8 17 0 954 9 17 0 991 0 974Gain 本人有无犯罪记录 I E 本人有无犯罪记录 0 977 0 974 0 003 对于违法记录次数 s1 4 s11 1 s21 3 I1 1 4 log21 4 3 4 log23 4 0 811s2 9 s12 5 s22 4 I2 5 9 log25 9 4 9 log24 9 0 991s3 4 s13 1 s23 3 I3 1 4 log21 4 3 4 log23 4 0 811E 违法记录次数 4 17 0 811 9 17 0 991 4 17 0 811 0 906Gain 违法记录次数 I E 违法记录次数 0 977 0 906 0 071 表10 4E和Gain的值 生成的决策树如图10 5所示 现有嫌疑人张三和李四 其记录属性见表10 5 对应决策树中的划分 张三和李四很有可能是严重犯罪 如第三个嫌疑人王五与李四相似 但无特长 则有可能是较轻的犯罪程度 第二节知识管理 一 知识 一 知识的概念