数据挖掘笔记

1、第一章绪论厂预测任务：根据其他属性的值，预测特定属性的值。通常数据挖掘的任务YI描述任务：导出概括数据中潜联系的模式四种主要的数据挖掘任务：预测建模、关联分析、聚类分析、异常检测预测建模：分类：用于预测离散的目标变量回归：用于预测连续的目标变量关联分析：用于发现描述数据中强关联特征的模式。聚类分析：旨在发现紧密相关的观测值组群，是的与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能的相似。异常检测：识别器特征显著不同于其他数据的观测值。这样的观测值称为异常点，或离群点。第二章数据数据集的类型维度：数据集的维度是数据集中的对象具有的属性数目。低维度数据往往与中、高维度数据有质的不同。数据

2、预处理的一个重要动机就是减少维度，成为维归约。稀疏性：有些数据集，如果具有非对称特征的数据集，一个对象的大部分属性上的值都为0;在许多情况下，非零项还不到1%。（非对称属性：eg：对于某个学生，选修某门课程为1,否则取值0.由于学生只选择了所有课程中的一小部分。所以数据集的大部分值都是0）分辨率：常常可以在不同的分辨率下得到数据，并且在不同的分辨率下数据的性质也不同。（以几米或者几十米分辨率观测地球表面）OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO离群点：在某种意义上具有不同于数据集中其他大部分数据对象

3、的特征的数据对象，或是相对于该属性的典型值来说不寻常的属性值。数据预处理：聚集：将两个或多个对象合并成单个对象。无放回抽样“简单随机抽样.有放回抽样抽样分层抽样：从预先制定的组开始抽样维归约特征子集选择J嵌入过滤包装211将征子黛选科工:稼流胃阳特征加权：特征加权是另一种保留或删除特征的办法。特征越重要，所赋予的权值越大相似性和相异性的度量用邻近度表示相似性或相异性。相似度定义两个对象相似程度的数值度量相异度定义两个对象差异程度的数值度量第四章分类：分类任务就是通过学习彳#到一个目标函数f,把每个属性集x映射到一个预先定义的类标号y图43显示解决分类词理粕一般方-法、首先，需要,今训蚌集tra

4、ijig它由类标号己知的记录卦成.使用训阵集慧农分科E,该模型能“将谓用于棺验器（ted检血虫类林弓未知的记录初成.|T|JMB1整ft1TLftfDB12544Hq.No1DUKNg丽SOW70Ho4VeeMadumNoSuvgt电YbceftoMSfMirrihsqkNg7VaLarge42OKiNo83mdiASKVmDHaMMum?5KW10NonutVK阳务节建立分匏喷型的配方法决策树归纳根结点：它没有入边，但有零条或多条出边内部结点：恰有一条入边和两条或多条出边叶结点或终结点：恰有一条人边，但没有出边图4-4喃乳动物分类问题的决渍树通过比较父节点（划分前）的不纯程度和子女结点（划分

5、后）的不纯度，他们的差越大，测试条件的效果越好。增益A是一种可以用来确定划分效果的标准：*)As/(parent)-j-4N其中I是给定结点的不纯性度量，N是父节点上的记录总数，K是属性的个数，N是与子女结点v相关联的记录个数两个不同类的相邻区域之间的边界称作决策边界。模型的过拟合分类模型的误差大致分为两张：训练误差（再代入误差或表现误差），泛化误差模型拟合不足：决策树很小，训练和检验误差都很大模型过分拟合：树的模型变得太大，即使训练误差还在继续降低，但是检验误差开始增大，这种现象叫做过分拟合奥卡姆剃刀：给定两个具有相同泛化误差的模型，较简单的模型比较复杂的模型更可取悲观误差评估：第一种方法明

6、确使用训练误差与模型复杂度罚项的和计算泛华误差。结果泛华误差可以看做模型的悲观误差估计。设n是结点t分类的训练记录数，e是被误分类的记录数。决策树t的悲观误差估计e可以用下式计算其中，k是决策料的此结点数.现外决策树的总训练误差r此是训臃记求数，SG抡每个站点a对痫的加项.保持方法：在保持（Holdout）方法中，将被标记的原始数据划分成两个不想交的集合，分别成为训练集和检验集。在训练数据集上归纳分类模型，在检验集上评估模型的性能。随机二次抽样：多次重复保持方法来改进对分类器性能的估计，称作随机二次抽样交叉验证：假设把数据分为相同大小的两个子集，首先，我们选择一个自己做训练集，而另一个做检验集

7、，然后交换两个集合的角色，原先做训练集的现在做检验集，反之亦然，这种方法叫做二折交叉验证K折交叉验证：把数据分为大小相同的K份，在每次运行，选择其中一份作检验集，而其余的全做为训练集，该过程重复K次，使得每份数据都用于检验恰好一次。第五章：r线性回归算法：r回归J监督学习非线性回归分类机器学习：I非监督学习。监督学习：意指出一部分算法，需要部分数据集已经有正确的答案，eg房价,自顶向下自底向上：凝聚式对于里面的每一个数据，算法都知道对应的正确的房价，即房子实际卖出价格。算法的结果就是算出更多的正确价格。划分式：K-mean聚类J层次式：荣誉一个树下有子簇、基于密度式：DBSCANK-means

8、1、设定随机种子，确定K个随机点为初始质心2、根据确定的初始质心，用确定的度量相似度的方式（欧氏距离、曼哈顿、范式）若点为（1,1）（2,2）则欧氏距离为：将所有的数据进行分类。（根据初始质心的远近来判断）3、将分好的簇再次计算求出质心质心4、重复25、若所分的每个簇的元素不变，则结束，否则冲否3、4（或者质心不变、或达到自己设定的循环条件）凝聚式聚类元素组成簇，最终形成一个簇由某种规则确定的单个元素出发，寻找到距离他最近地DBSCAN核心点（个数n）,边界点（n个数k）,噪声点（个数k）设置半径R数目n参数K（kn）1、确定每一个元素的身份2、去掉噪声点(T22、在List中随机挑选一个数据

9、向量A,使用一个粗糙距离计算方式计算A与List中其他样本数据向量之间的距离d3、根据第二步中的距离d,将d小于T1的样本数据向量划分到一个canopy中，同时，把d小于T2的样本数据向量从候选中心名单向量中移除4、重复2、3,直到候选中心向量名单为空，即List为空，算法结束。It帆厢UliLut力JI-ItlTl阿it他出航晚.乩杷哧*。小于F1的向量生J*(AM,11司、J-的.分类算法：感知机：假设数据集必须是线性可分的。将一个线性可分的数据集，用一条线或者平面或者超平面,将其分为两部分。Y=ax+bW1x1+w2x2+b0=0W3x1+w3x2+b1=0寻找特定的参数，w1w2w3w4b0满足上述。其中：使得sign(wx+b)0x为正类sign(wx+b)0x为负类逻辑回归:思想：将线性多项式映射到非线性上，使其可分也&仪N夕晚、火小入x线性回归思想：寻找一个线性目标函数，是预测值与真实值的差距越小越好