数据挖掘现状及未来发展趋势.ppt

数据挖掘现状及发展方向 制作人 丁鹏指导教师 黄振华 主要内容 MainContents 1 2 3 数据挖掘的含义及功能 数据挖掘问题及应用现状 4 数据挖掘研究热点 数据挖掘技术的三大支柱 5 数据挖掘的未来发展方向 含义 含义 数据挖掘就是从海量的数据 包括结构化和非结构化 中挖掘出隐含在其中的 事先不为人知的 潜在的 有用信息和知识的技术 这些信息是可能有潜在价值的 是用户感兴趣的 可理解 可运用的 支持决策 可以为企业带来利益 或者为科学研究寻找突破口 数据挖掘所能发现的知识 功能 功能 关联规则和序列模式的发现 预测及偏差检测AAA 功能 聚类ABC 分类 按照分析对象的属性 特征 建立不同的组类来描述事物 识别出分析对内在的规则 按照这些规则把对象分成若干类 关联是某种事物发生时其他事物会发生的这样一种联系 预测 把握分析对象发展的规律 对未来的趋势做出预见 偏差的检测 对分析对象的少数的 极端的特例的描述 揭示内在的原因 存在的问题 存在的问题 数据挖掘的基本问题就在于数据的数量和维数 数据结构也因此显的非常复杂 如何进行探索 选择分析变量 也就成为首先要解决的问题 面对如此大的数据 现有的统计方法等都遇到了问题 我们直接的想法就是对数据进行抽样 那么怎么抽样 抽取多大的样本 又怎样评价抽样的效果 这些都是值得研究的难题 既然数据是海量的 那么数据中就会隐含一定的变化趋势 在数据挖掘中也要对这个趋势做应有的考虑和评价 01 02 03 同时数据挖掘技术也面临着许多的问题 这也为数据挖掘未来的发展提供了更大的空间 存在的问题 各种不同的模型如何应用 其效果如何评价 不同的人对同样的数据进行挖掘 可能产生不同的结果 甚至差异很大 这就涉及到可靠性的问题 当前互联网的发展迅速 如何进行互联网的数据挖掘 还有文本等非标准数据的挖掘 都引起了极大的兴趣 04 05 应用现状 应用现状 数据挖掘的应用非常广泛 只要该产业有分析价值与需求的数据库 皆可利用数据挖掘工具进行有目的的发掘分析 常见的应用案例多发生在零售业 制造业 财务金融保险 通讯及医疗服务 成功典例 BassExport AutoT Reuteres 其运用了SAS软件进行数据挖掘 每天对数据进行分析 找出用户的访问模式 对产品的喜欢程度进行判断 并设特定服务 取得了成功 在海外80多个市场从事交易 每个星期传送23000份定单 这就需要了解每个客户的习惯 如品牌的喜好等 BassExport用IBM的IntelligentMiner很好的解决了上述问题 Reuteres用SPSS的数据挖掘工具SPSS Clementine 建立数据挖掘模型 极大地提高了错误的检测 保证了信息的正确和权威性 三大支柱 三大支柱 数据库技术 1 人工智能技术 2 概率与数理统计 3 三大支柱 随着DMKD研究逐步走向深入 人们越来越清楚地认识到 DMKD的研究主要有3个技术支柱 即数据库 人工智能和数理统计 研究热点 研究热点 网站的数据挖掘 在对网站进行数据挖掘时 所需要的数据主要来自于两个方面 一方面是客户的背景信息 此部分信息主要来自于客户的登记表 而另外一部分数据主要来自浏览者的点击流 Click stream 此部分数据主要用于考察客户的行为表现 但有的时候 客户对自己的背景信息十分珍重 不肯把这部分信息填写在登记表上 这就会给数据分析和挖掘带来不便 在这种情况之下 就不得不从浏览者的表现数据中来推测客户的背景信息 进而再加以利用 生物信息或基因的数据挖掘 研究热点 对于生物信息或基因的数据挖掘和通常的数据挖掘相比 无论在数据的复杂程度 数据量还有分析和建立模型的算法而言 都要复杂得多 从分析算法上讲 更需要一些新的和好的算法 现在很多厂商正在致力于这方面的研究 但就技术和软件而言 还远没有达到成熟的地步 未来的研究方向 未来研究方向 未来研究方向 未来研究方向 结束语 结束语 不管怎样 需求牵引与市场推动是永恒的 DMKD将首先满足信息时代用户的急需 大量的基于DMKD的决策支持软件产品将会