数据仓库与数据挖掘基础第7章分类与预测赵志升

1、1、分类和预测的基本概念 2、常用分类方法 3、预测方法 4、分类法的准确性,第七章 分类与预测,数据库内容丰富，蕴涵大量信息，可以用于 作出智能的商务决策。分类和预测是两种数据分 析形式，可以用于提取描述重要数据类的模型或 预测未来的数据趋势。分类是预测分类标号（离散值），预测建立连续值函数模型。,第七章 分类与预测,许多分类和预测方法被机器学习、专家系统、统计学和神经生物学方面的学者提出； 分类和预测的大部分算法是内存驻留算法，通常假设数据量较小； 可伸缩的分类和预测技术，能够处理大量的驻留磁盘的数据； 数据分类的基本技术有：判定树归纳、贝叶斯分类、贝叶斯网络、神经网络等； 预测的方法主要

2、有：线性的、非线性的、广义线性回归。,第七章 分类与预测,第一节 分类和预测的基本概念,1、 数据分类（data classification） 数据分类是一个两步的过程： 学习：用分类算法分析训练数据； 分类：测试数据用于评估分类规则的准确率。,第一节 分类和预测的基本概念,1、 数据分类 学习：建立一个模型，描述预定义的数据类集或概念集。 通过分析由属性描述的数据库元组来构造模型。 假设每个元组属于一个预定义的类，由一个称作类标 号属性的属性确定。 对于分类，数据元组也称为样本、实例或对象。 为建立模型而被分析的数据元组形成训练数据集。 训练数据集中的单个元组称作训练样本，随机从样本 群中

3、选取。,第一节 分类和预测的基本概念,1、 数据分类 学习过程：,第一节 分类和预测的基本概念,1、 数据分类 分类：使用模型进行分类。首先评估分类模型的预测准确率。 保持方法是一种使用类标号样本测试集的简 单方法。 模型在给定测试集上的准确率是正确被模型 分类的测试样本的百分比。,第一节 分类和预测的基本概念,1、 数据分类 分类过程：,第一节 分类和预测的基本概念,2、 预测 预测：就是构造和使用模型评估无标号样本类，或评估给定样本可能具有的属性值或值区间。 分类和回归是两类主要的预测问题： 分类是预测离散或标称值，用预测法预测类 标号为分类； 回归勇于预测连续或有序值，用预测法预测 连续

4、值为预测。,第一节 分类和预测的基本概念,3、分类和预测方法的评估 分类和预测的方法可以根据下列标准比较和评估： 预测的准确性：正确预测新的类标号的能力； 速度：产生和使用模型的计算花费； 强壮性：对于给定噪声或具有空缺值数据，模型正确 预测的能力； 可伸缩性：对于给定大量数据，有效构造模型的能力。 可解释性：学习模型提供的理解的层次。,第二节 常用分类方法,判定树归纳分类 贝叶斯分类 神经网络 其他分类方法,第二节 常用分类方法,1、判定树归纳分类 判定树是一个类似于流程图的树结构，其中每个内部节点表示在一个属性上的测试，每个分枝代表一个输出，而每个树叶节点代表类或类分布。树的最顶层节点是根

5、节点。,第二节 常用分类方法,1、判定树归纳分类 一棵典型的判定树如：,第二节 常用分类方法,1、判定树归纳分类 判定树归纳的基本算法是贪心算法，它以自顶向下递归的方式构造判定树，比较著名的判定树归纳算法ID3版本。其基本策略如： 树以代表训练样本的单个节点开始； 如果样本都在同一个类，则该节点成为树叶，并用该类 标记； 否则，算法使用信息增益的基于熵的度量作为启发信息， 选择能够最好地将样本分类的属性。该属性成为该节点 的“测试”或“判定”属性。所有属性是分类的，是离散值。,第二节 常用分类方法,1、判定树归纳分类 对测试属性的每个已知的值，创建一个分枝，并据此划 分样本； 算法使用同样的过

6、程，递归地形成每个划分上的样本判 定树。一旦一个属性出现在一个节点上，就不必考虑该 节点的任何后代上； 递归划分步骤仅当下列条件之一成立时停止： 给定节点的所有样本属于同一类； 没有剩余属性可以用来进一步划分样本； 分枝没有样本。,第二节 常用分类方法,2、贝叶斯分类 贝叶斯分类是统计学的方法，可以预测类成员关系的可能性，如给定样本属于一个特定类的概率。 贝叶斯分类基于贝叶斯定理。其中，朴素贝叶斯分类算法可以与判定树和神经网络分类算法相媲美。当应用于大型数据库时，贝叶斯分类也已表现出高准确率与高速度。如，Oracle 9i具有贝叶斯分类、关联规则挖掘功能。,第二节 常用分类方法,2、贝叶斯分类

7、 贝叶斯分类主要有： 朴素贝叶斯分类：假定一个属性值对给定类的 影响独立于其他属性的值，这一假定称作类条 件独立。假定简化所需计算，称为“朴素”。 贝叶斯信念网络：是图形模型，可以表示属性 子集间的依赖。,第二节 常用分类方法,2、贝叶斯分类 朴素贝叶斯分类举例。 设有数据库数据元组训练集，如表所示。类标号属性buys_computer有两个不同值yes，no，因此有两个不同的类C1和C2，分别对应于yes和no。类有9个样本，类有5个样本。希望分类的未知样本为： X=（age=“=30”，income=“medium”， student=“yes”，credit_rating=“fair”）

8、,第二节 常用分类方法,2、贝叶斯分类,第二节 常用分类方法,2、贝叶斯分类 求最大化P(X|Ci)P(Ci)，i=1，2。需要根据训练样本计算每个类的先验概率P(Ci)有： P(buys_computer=“yes”)=9/14=0.643 P(buys_computer=“no”)=5/14=0.357,第二节 常用分类方法,2、贝叶斯分类 为计算P(X|Ci)，i=1，2。需要计算条件概率： P(age=“30”|buys_computer=“yes”)=2/9=0.222 P(age=“30”|buys_computer=“no”)=3/5=0.600 P(income=“medium

9、”|buys_computer=“yes”)=4/9=0.444 P(income=“medium”|buys_computer=“no”)=2/5=0.400 P(student=“yes”|buys_computer=“yes”)=6/9=0.667 P(student=“yes”|buys_computer=“no”)=1/5=0.200 P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667 P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.400,第二节 常用分类方法,2、贝叶斯分类

10、使用以上概率，可以得到： P(X|buys_computer=“yes”) =0.222*0.444 *0.667 *0.667=0.044 P(X|buys_computer=“no”) =0.600*0.400 *0.200 *0.400=0.019 P(X|buys_computer=“yes”) P(buys_computer=“yes”) =0.044*0.643=0.028 P(X|buys_computer=“no”) P(buys_computer=“no”) =0.019*0.357=0.007 因此，对于样本X，朴素贝叶斯分类预测： buys_computer=“yes”,

11、第二节 常用分类方法,2、贝叶斯分类 贝叶斯信念网络：变量之间存在依赖的情形，提供一种因果关系的图形，可以在其上进行学习。 主要由两部分定义： 有向无环图 每个属性条件概率表。,第二节 常用分类方法,2、贝叶斯分类 贝叶斯信念网络的有向无环图和每个属性条件概率表。,第二节 常用分类方法,3、后向传播分类 后向传播分类是一种神经网络学习算法。神经网络最早由心理学家和神经生物学家提出，期望寻求开发和测试神经的计算模拟。简单地，神经网络是一组连接的输入/输出单元，其中每个连接都与一个权相相联。在学习阶段，通过调整神经网络的权，使得能够预测输入样本的正确类标号来学习。,第二节 常用分类方法,3、后向传

12、播分类 神经网络学习的特点： 需要很长的训练时间； 需要大量的参数，主要靠经验确定，如网络 拓扑； 对噪声数据的高承受能力； 对未经训练的数据分类模式的能力； 训练过的神经网络可以提取规则。,第二节 常用分类方法,3、后向传播分类 后向传播算法在多层前馈（multilayer feed-forward）神经网络上的学习。,第二节 常用分类方法,4、其他分类方法 最临近分类 基于案例的推理 遗传算法 粗慥集方法,第三节 预测方法,预测连续值可以用回归统计技术建模。常用预测方法有： 线性回归 多元回归 非线性回归 广义线性模型,第四节 分类法的准确性,估计分类法的准确性是重要的，这样可以估计一个给定的分类法对未来的数据正确标号的准确率。 例如，如果先前