数据挖掘概念与技术

数据挖掘概念与技术第一页，共三十三页，2022年，8月28日

第一课分类一、数据挖掘及知识的定义1、数据挖掘定义：从大量数据中提取或“挖掘”知识；2、数据挖掘技术：分类、预测、关联和聚类等；3、数据挖掘过程：数据的清理、集成、选择、变换、挖掘、模型评估、知识表示；4、知识定义：知识就是“压缩”－浓缩就是精华！1）OccamRazor:因不宜超出果之需！2）信息论：熵3）MDL准则：minimumdescriptionlength第二页，共三十三页，2022年，8月28日

第一课分类二、神经网络知识预备1、单层神经网络；

2、多层神经网络。第三页，共三十三页，2022年，8月28日

第一课分类三、SPSS软件及Logistic回归知识预备1、回归方法分类多个因变量(y1,y2,…yk)路径分析结构方程模型分析一个因变量y连续型因变量(y)---线性回归分析分类型因变量(y)---Logistic回归分析时间序列因变量(t)---时间序列分析生存时间因变量(t)---生存风险回归分析第四页，共三十三页，2022年，8月28日

第一课分类三、SPSS软件及Logistic回归知识预备2、回归方法适用前提1）大样本，样本量为自变量个数的20倍左右；2）因变量或其数学变换与自变量有线性关系；3）扰动项（误差项）符合正态分布；4）自变量间不存在诸如多重共线性等关系；5）误差项方差不变；

等等。。。。。。。。

第五页，共三十三页，2022年，8月28日

第一课分类三、SPSS软件及Logistic回归知识预备3、Logistic回归方法介绍1）Logit变换

Logit变换是Logistic回归模型的基础。现实中常要研究某一事件A发生的概率P及P值的大小与某些影响因此之间的关系，但由于P对X的变化在P＝0或P＝1的附近不是很敏感的，或说是缓慢的，比如像可靠系统，可靠度P已经是0.998了，即使再改善条件和系统结构，它的可靠度增长也只能是在小数点后面的第三位或第四位之后，于是自然希望寻找一个P的函数形式θ(P),使它在P＝0或P＝1附近变化幅度较大，且最好函数形式简单，根据数学上导数的意义，提出用来反映θ(p)是在P附近的变化是很适合的，同时希望P＝0或P＝1时，有较大的值，因此取＝，即：

第六页，共三十三页，2022年，8月28日

第一课分类三、SPSS软件及Logistic回归知识预备3、Logistic回归方法介绍2）Logistic回归设因变量是一个二分类变量，其取值为=1和=0。影响取值的个自变量分别为，则Logistic变换如下式表示：

第七页，共三十三页，2022年，8月28日

第一课分类四、神经网络与Logistic回归优缺点对比

1、神经网络优缺点1）优点：数据类型无要求，高度智能，强“鲁棒”性，可进行非线性拟合，能容忍缺失值，异常值的出现等；2）缺点：“黑箱”过程导致知识结果难于解释。2、Logistic回归方法优缺点1）优点：线性回归方程的知识结果使得所获知识易于解释；2）缺点：数据类型要求高，回归方法成立前提多，只适用于线性拟合，缺失值，异常值会导致结果精确度大为下降。3、二者区别：硬计算与软计算，知识表达方式不同第八页，共三十三页，2022年，8月28日

第二课预测一、相关概念

1、神经网络的“过拟合”现象1）“过拟合”指的是神经网络对训练集进行训练的过程中，无法识别数据中的“噪音”，并且把“噪音”的影响毫无保留的存贮于网络参数（权重、偏置）中。“过拟合”会导致神经网络对测试集进行分类、预测时，产生不必要的偏差。2）解决“过似合”现象办法之一为N－fold交差验证。2、MSE、NMSE等概念的定义1）MSE：均方误差（注：与均方差的区别），其定义为误差平方和除以它的自由度。第九页，共三十三页，2022年，8月28日

第二课预测一、相关概念

2）NMSE定义：

注：此处的方差为样本总体方差。NMSE的物理意义为标准化的MSE。

第十页，共三十三页，2022年，8月28日

第二课预测二、预测实验

1、实验目的：

1）理解分类与预测区别2）熟练使用神经网络软件NeuroSolutions解决预测问题。3）学会运用灵敏度分析，对属性进行灵敏度测量。4）学会通过多次训练模型，避免模型停止在局部最优。

2、实验原理1）神经网络方法原理

2）多元线性统计方法原理（注意什么是线性，其内涵是什么？）

第十一页，共三十三页，2022年，8月28日

第三课聚类分析一、聚类分析定义、特征、应用及评估

1、定义：将物理或抽象的集合分组成为由类似的对象组成的多个类的过程被称为聚类。1）聚类的方法类型（1）划分方法：K－平均和K－中心算法；（2）层次方法：系统聚类；

（3）基于密度方法：种类较多，对发现数据“噪音”有优势；（4）基于网格方法：小波聚类为典型，效率高，复杂度低；（5）基于模型方法：统计学中的分类树方法－利用信息熵、贝叶斯统计原理为分类原则、竞争学习与自组织特征图。

第十二页，共三十三页，2022年，8月28日

第三课聚类分析一、聚类分析定义、特征、应用及评估2、聚类与分类的区别1）聚类所要划分的类未知，而分类要划分的类已知；2）聚类不依赖预先定义的类和带类标号的训练实例，因此它是观察式的学习，而不是示例学习；3）聚类的有监督与分类的无监督的区别。3、聚类分析的应用：是一种重要的数据挖掘方法，广泛应用于信用卡欺诈、定制市场（移动客户划分及定价等）、医疗分析。特别是孤立点的挖掘与分析，有着重要的实际应用。4、聚类质量的评估：相异度

第十三页，共三十三页，2022年，8月28日

第三课聚类分析二、K－平均聚类方法、系统聚类及决策树方法1、K－平均聚类方法

1）原理：随机选择k个对象，每个对象初始地代表一个类的平均值或中心，对剩余每个对象，根据其到类中心的距离，被划分到最近的类；然后重新计算每个类的平均值。不断重复这个过程，直到所有的样本都不能再分配为止(指中心点改变很小的时候，称之为收敛)。2)特征：k事先定好；创建一个初始划分；再采用迭代的重定位技术进行；不必确定距离矩阵；比系统聚类法运算量要小；适用于处理庞大的样本数据；适用于发现球状类。3)缺点：平均值必须有定义，对于有些分类变量的集合不适用一；不同的初始值，结果可能不同；有些k均值算法的结果与数据输入顺序有关，如在线k均值算法，用爬山式技术（hill-climbing）来寻找最优解，容易陷入局部极小值；对孤立点敏感。

第十四页，共三十三页，2022年，8月28日

第三课聚类分析二、K－平均聚类方法、系统聚类及决策树方法1、系统聚类

1）原理：SPSS软件中，HierarchicalCluster过程使用的就是系统聚类法来进行分析，该方法的原理是先将所有N个变量看成不同的N类，然后将性质最接近(距离最近)的两类合并为一类；再从这N-1类中找到最接近的两类加以合并，依此类推，直到所以的变量被合成一类为止。得到该结果后，再根据具体问题和聚类结果决定对该事物应该分成几类。显然，一量某变量被划定在一个类别中后，它的分类结果将不会再改变，这是它和非系统聚类的显著区别。2)特征：聚类变量可以为连续及离散性质，表达结果层次丰富；变量间如存在多重共线性，对聚类结果影响较大，应先通过主成分分析方法或剔除权重较小变量再进行分析。3)缺点：由于需要反复计算距离，计算量较大；异常值对聚类结果影响巨大；。

第十五页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

1、信息论

美国工程师Shannon于1948年发表“AMathematicalTheoryofcommunication”，标致着信息论的诞生。Shannon于1949年发表“CommunicationTheoryofSecrecysystem”，以信息论为基础，用概率统计为数学手段对保密通信问题进行了分析。由香农提出的保密系统模型目前仍然是现代密码学的基本模型

第十六页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

1)信息量信息是指消息消除掉的不确定性，消息的信息量就是它消除掉的不确定性的量度。假设随机变量为，发生的概率定义为,它的信息量为

第十七页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

2)信息熵各个互不相容事件的自信息量的统计平均值(期望值)为该事件集合的信息熵：

第十八页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

3)联合熵

第十九页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

4)条件熵

第二十页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

5)互信息

第二十一页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

6)平均互信息量

第二十二页，共三十三页，2022年，8月28日

第四课决策树一、关联规则挖掘相关理论

2、信息论基本原理

6)平均互信息量、熵及条件熵之间的关系

第二十三页，共三十三页，2022年，8月28日

第四课决策树二、关联规则简单案例

1、蔬菜案例

颜色形状蔬菜红圆番茄紫长茄子绿长黄瓜第二十四页，共三十三页，2022年，8月28日

第四课决策树二、关联规则简单案例

2、蔬菜案例熵、条件熵及互信息(信息增益)1)熵、条件熵：H(蔬菜)=？H(蔬菜，颜色)=？H(蔬菜，形状)=？2)信息增益I(蔬菜，颜色)=H(蔬菜)-H(蔬菜，颜色)=？I(蔬菜，形状)=H(蔬菜)-H(蔬菜，形状)=？3)结论：信息增益越大，就用之作为决策树第一分类属性。

第二十五页，共三十三页，2022年，8月28日

第四课决策树二、关联规则简单案例

3、蔬菜案例分类树如下：

颜色红紫 绿

番茄茄子黄瓜

第二十六页，共三十三页，2022年，8月28日

第四课决策树三、关联规则稍复杂案例

1、分类树属性选择度量标准信息增益——Informationgain（ID3）增益比率——Gainration（C4.5）基尼指数——Giniindex(SLIQ，SPRINT)

…………

第二十七页，共三十三页，2022年，8月28日

第四课决策树三、关联规则稍复杂案例

2、ID3算法基本思想构造决策树，决策树的每个节点对应一个非类别属性，每条边对应该属性的每个可能值。以信息熵的下降速度作为选取测试属性的标准，即所选的测试属性是从根到当前节点的路径上尚未被考虑的具有最高信息增益的属性。

判定树分类算法output训练集决策树input第二十八页，共三十三页，2022年，8月28日

第四课决策树三、关联规则稍复杂案例

3、ID3算法案例

第二十九页，共三十三页，2022年，8月28日

第四课决策树三、关联规则稍复杂案例

3、ID3算法案例

分类C1:买电脑=“是”分类C2:买电脑=“否”H(C1,C2)=H(9/14,5/14)=0.940计算年龄的增益:因此相似地第三十页，共三十三页，2022年，8月28日

第四课决策树三、稍复杂案例

4、ID3算例决策树呈现

年龄?overcast学生?信用?是否正常好<=30>40否否是是是30..40第三十一页，共三十三页，2022年，8月2