数据挖掘笔记-概念学习

1、概念学习概念学习可近似为分类问题，例如个孩看过种鸟的图，如果再给他张另外种没见过的鸟的图，他还是可以认出这是只鸟，换句话说他已经建了“鸟”这概念，进根据些特征进判断是或不是属于这个概念。、概念和概念学习的定义概念是在个更的集合定义个对象或者事物的集，或者说是个从更的集合学到的布尔函数。概念学习，指动地给出概念的定义。也就是说概念学习是从训练数据中学到个符合训练数据的元函数。从机器学习的度，也可以说概念学习是个在假设空间中的假设搜索问题。例：概念：“days on which my friend enjoys water sports”学习任务：从其他属性预测enjoysport的值假设是属性的

2、合取，是个约束向量，例如属性的取值有三种，1）任意取值都可以 2)其中某个值，注意是某个值不是多值的组合，例如 3)任意取值都不可以实例的项集：指属性名。例如：要学习的概念叫做标概念：即enjoysport的取值c:X-0,1训练数据:实例x的集合和标概念的值即概念学习过程：在假设空间中寻找个合适的假设，h:X-0,1,对任意的x,使得h(x)=c(x)总结下：给出：实例X（属性集合），标函数c0,1，假设空间H，训练数据求：合适的注：1.属性没有析取，只有合取，例如如果第个实例Sky取Sunny，那么假设中该项取Sunny，此时再有个实例Sky取Cloudy,此时假设该项将改为，不是2.对于

3、上式案例，不同的实例有3*2*2*2*2*2=96假设空间：句法上的不同假设（每个属性包含和）有 5*4*4*4*4*4=5120语义上的不同假设（所有含都看作个假设即不可）有1+4*3*3*3*3*3=973、搜索法既然概念学习现在变为假设搜索问题了，那么如何搜索到最有效的假设，如果假设空间可以考虑遍历，如果假设空间，有find-S算法，List-Then-Eliminate算法1.find-S算法初始假设先设为最具体的假设：训练For each positive training instance xIfthe constraint ai h is satisfied by xelse r

4、eplace ai h by the next more general constraintthat is satisfied by xOutput hypothesis例评价：find-S只考虑正样本(标概念为1)不考虑负样本find-S是从最具体的假设步步遇到正实例进般化的，因此其找到的是泛的具体假设find-S 最终找到的只有个假设，但是有可能多个假设都满训练集find-S是易受噪声扰的2.List-Then-Eliminate正负训练样本都考虑进来，找到的是个假设的集合，要表这个假设集合只需要找到其假设边界即可。例如上图中最上层的即为假设集合的最具体边界,记为S，最下层即为集合的最般

5、边界，记为GGIf d 是个正例GGd()的所有假设dhdGhSIf d 是个负例d()的所有假设GGdhdhG上的算法不太好理解，体上可以想象下先画出假设集合的两界G和S，遇到正例调整S使得S更般化，遇到负例调整G使得G能具体化，调整之后两边界就从两头慢慢接近。学习到个假设集合如何使呢：如果满S中所有的假设，那么可以判断为正例，如果不满G中的任何个假设，可以判断为负例。那么如果学到的假设集合中有些假设满有些假设不满怎么办呢?可以投票决定，满的假设多于不满的假设个数，设为正例。三、归纳偏置上的描述还存在个问题，由于假设空间只能合取，那么可能会出现假设不存在的情况，例如下例：x1 = +x2 = 此时的假设S : ?, Warm, Normal, Strong, Cool, Change x3 = -这时不存在同时满x1x2x3的假设，要想找到满三样本的假设引偏学习，偏假设中定会存在满的假设（般偏假设为样本的析取）。即上例中假设如下：Cloudy, Warm, Normal, Strong, Cool, Change 既然定会包含样本，为什么不直使偏假设？因为偏假设不具有泛化性，它只是样本的简单析取，法形成某种模式进判断。最后归纳偏置是什么？友 讲的很好，这直接引下：“我觉得偏学习