数据挖掘技术及其应用

1、据挖掘技术及其应用 数据是知识的源泉。但是,拥有大量的数据与拥有许多有用的知识完全是两 回事。过去几年中,从数据库中发现知识这一领域发展的很快。广阔的市场和研 数据本身并不意味信息。尽管现代的数据库技术使我们很容 易存储大量的数据流,但现在还没有一种成熟的技术帮助我们分析、理解并使数 师 得知识的可信度就应该打个 目前,传统的知识获取技术面对巨型数据仓库无能为力,数据挖掘技术就应 前所拥有的数据分析工具很难对数据进行深层次的处理 ,使得人们只能望“数” 模式,这些模式反映了数据的内在特性,是对数据包含信息的更高 掘受到越来越多 ,它代表从低层次数据中提取高层次知识的全过程,包括数据信息的收 挑

2、选合适的样本策略;剔除数据中不正常的数据并补足不够的 部分;用恰当的降维、变换使数据挖掘过程与数据模型相适合或相匹配;辨别所得 掘是知识获取的一部分 (1)统计学 。于是许多工作是着眼于线性模型、递 (2)模式识别在模式识别工作中,传统上是把注意力集中在符号形式化直接结合实际技术 于分类技术和数据的聚类技术上。模式识 术把数据从一个向量空间映射到另外一个向 (3)人工智能 过大量搜索表达式和选择变量上有很大作用。另外,机器学习对于发 叶斯模型推理是 , (4)数据库 的统计和计数,则要对各个特征属性进行组合形成新的数据库。其中,对于数据挖 题的求解和优化,利用新出现的数据库定向技术更加易于寻求

3、数据库中隐含的模 , 、 数据库、文本数据源、多媒体数据库、异 (一)天文数据分析中的数据挖掘常著名的应用系统:SKICAT外 3。它是美国 加州理工学院(CIT)与天文科学家合作开发的用于帮助天文学家发现遥远的类星 能技术在天文学和空间科学上第一批成功应用之一。利用 SKICAT,天文学家已 大 SKICAT 不仅提供对数据库的管理,并且通过训练可以对天体进行辨识。它 计,共有三个主要功能模块:分类建立、分类管理及统计分析。其 立对天体的辨识机制。对天体的辨识是进行 SKICAT 由学习算法完成,从而可以实现对大批量数据的分析,另一方面是辨识那些 天体图像的特征进行定义,对那些亮度较低的图像

4、可以得到比人工分类更好的结 Bayesian 很难 有一个合理的方法,从大量杂乱无序的数据中将它们找 系列有效的方法来寻找隐藏于大规模 (1)简化 Bayesian 网的结构; (2)根据所挖掘出的函数依赖的置信度,可 运用分类的方法来进行数据挖掘。其步骤:将原始数据库中的数据按 属性值进行一次性分类;将函数依赖规则的等价形式用分类表示出来;计算每 为减少搜索的算法复杂度,提供几种裁减算法进行计算时的精化;获得满足置 的变量为:绿化效果、抗逆性、成本、土壤要求、总评分。根据这些变量进行调 对 。 值分类,每个 A 属性状态为一等价类。例如, A 为“树冠形状”,则可以分为“圆 “中”、“差”。

5、“树冠形状”中“圆形”等价类中“绿化效果”为“好”的等 (一)数据挖掘所获取目标知识分类 给事先选定的一组顾客样本,然后就可得到有良好反应的大概的规律。这种大概 人。各个有关因素可按一定顺序排列,从而据此挑选出最恰当的顾客群体,也是销 联系的问题就是得到如下形式的规则 :“A1Am B1Bn”,其中 Ai(i1,m)与 Bj(j1,n)均为在数据库中相关数据特征属性值的集合。例 进行处理,可得到如下规则:当 AT&T 公司股票价格在两个连续交易日中上涨,而 (二)数据挖掘的统一框架 。我们通常以形式 F(o) G(o)表 出于实际应用的目的。我们经常只对支持率达到 O 属性,有一方法返回记录的

6、属性值,另有一方法返回记录的 O置信度和支持率 时间序列问题中的实体集 O 包含时间因素(可能有不同的细化程度,例如天, i. 如果一个电子商务网站平均每个小时卖出五件物品，那么它一个月 b) 丰富的记录信息c) 干净的数据i. 从电子商务站点收集的都是电子数据，无需人工输入或者是从历史 d) 研究成果容易转化i. 在电子商务中，很多知识发现都可以进行直接应用e) 投资收益容易衡量Web 入的分析提供了可能 技术数据资料之丰富,现在在论文中提到的相关领域已有了一些数据挖掘技术的 不再一一列举。作为一个新兴的研究领域,数据挖掘仍然有许多问 题需要进行深入研究。例如:从同一个数据库的不同层次上提取相应的规则;确定 一种方便、实用、统一的语言表达数据挖掘的结果;应用数据挖掘技