数据挖掘感想

1、数据挖掘感想通过学习一个学期的数据挖掘课对数据挖掘有了一定的理解，也掌握了，理解了一些数据挖掘中用到的重要的算法。在这个数据膨胀的大数据时代我们需要筛选，查询数据，处理数据。我们看到的听到的都是数据，在这互联网时代数据更多，信息很多。但是有些网站比如百度，谷歌，雅虎等为我们的学习生活带来了很多便利。我们为了更正确更有效的利用和处理数据必须要利用数据挖掘技术， 因为有了这技术我们以后的数字化生活变得更方便， 不会因为数据多，信息多而感到反感。所以我真正的体会到了数据挖掘的优越性。同时我学习一些算法过后也感觉到了其复杂性， 因为数据挖掘算法众多， 掌握起来比较困难。我们主要学习了贝叶斯分类算法，决

2、策树分类算法等算法，这些是比较简单并且利用比较广泛的算法。也学习了数据的概念，数据理解包括收集原始数据、数据描述、数据探索分析和数据质量描述。我们首先收集大量的数据然后对此进行数据描述分类数据， 然后优化净化数据， 并对此进行分类整理， 保存查询，搜索数据等。贝叶斯算法：贝叶斯分类基于贝叶斯定理，贝叶斯定理是由 18世纪概率论和决策论的早起研究者Thomas Baye发明的，故用其名字命名为贝叶斯定理。分类算法的比较研究发现，一种称为朴素贝叶斯分类法的简单贝叶斯分类法可以与决策树和经过挑选的神经网络分类器相媲美。用于大型数据库，贝叶斯分类法也已表现出高准确率和高速度。 目前研究较多的贝叶斯分类

3、器主 要有四种，分别是：Naive Bayes TAN BAN和GBM朴素贝叶斯分类是一种十分简单的分类算法，思想基础是这样的：对 于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类。贝叶斯定理(Bayes'theorem是概率论中的一个结果,它跟 随机变 量的条件概率以及边缘概率分布 有关。在有些关于概率的解说中，贝叶斯定理 能够告知我们如何利用新证据修改已有的看法。通常，事件A在事件B (发生)的条件下的概率，与事件 B 在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯 定理就是这种关系的陈述。贝叶斯公式提供了从先验

4、概率 P(A卜P(B和P(B|A)计算后验概率P(A|B) 的方法：P(A|B户P(B|A)*P(A)/P(B) , P(A|B)随着 P(A,口 P(B|A)的增长而增长， 随着P(BR勺增长而减少，即如果 B独立于A时被观察到的可能性越大，那么B对A的支持度越小。举例：一个天气估计问题?两个假设H: hl呻青天卜h2=俳晴天?可观察到的数据：温度高+和温度低-?先验知识p(h)? 北京晴天的概率 0.99: P(h1)=0.99?非晴天 0.01: P(h2)=0.01?观察到的概率P(D|h):? P(温度高|晴天)=0.85? P(温度低|非晴天)=0.93?问题：现在观察到温度低，判

5、断是否非晴天？极大似然计算P（非晴天|温度低）8 P（温度低|非晴天）=0.93P（晴天|温度低）8 P（温度低|晴天）=0.15答案：非晴天决策树：决策树：训练集：数据的集合，用于生成树（模型）测试集：用于测试树（模型）的性能决策树作用：主要就是训练数据除去脏数据通过训练集算法指导下生成决策树新数据进行划分否则是主拍”决策数据大量产生, N命分割属性的数据大的比例泡在网上，再加上未来名种看我们每个人量产生这一点就不用天的生活里会有多大戴设备，物联网的普及，数据量之大难（甘凌想谈谈M）以想象许技术这个词不够专业，自己在编程，数据存种决策树方案储方面也不是特别了解，这里就说说算法这一部分。记得原

6、先在数据结构和 算法一开篇就提到关于等差数列求和的计算机求和计算，我们从小就知道等 差数列的求和可利用算法公式，该算法利用了首尾两个数据和是一样的数据结 构特征从而更简洁。告诉计算机进行求和命令可以是两种方法1.一项项的加,2.直接利用算法，利用第一个方式可能在数据量少的时候计算速度与第二种相 比不会有太大的差异，但如果数据量很大，后者的优越性将很明显。后来在接 触到Apriori算法时候里用看到算法会用到一些剪枝手段减少计算机运算量的 时候忍不住拍案叫绝。另外，各式各样的统计软件的背后都有着大量的contributors 将自己的算法程序包分享到网上，供后来人更便捷的调用使用。互联网的这种集

7、体智慧 的共享创造方式让后来人站在前人的肩膀上，走的更远。但是在调用这些算法 的过程中还是要对算法本身有一些原理上的理解，算法和数据结构是钥匙和锁， 我们在实际操作的过程中还需要根据具体的情况灵活和适当的使用，会在后面 的分享里细说。信息也是产品许多公司所拥有的客户信息不仅仅对自己有价值，同时对他人也同样具有 价值。如今很多的淘宝店铺之间也有了很多的消费者数据的共享。互联网也改 变了品牌和品牌之间的关系，一个拥有很多青少年儿童数据的公司完全可以将 自己的数据分享给做儿童食品的公司，或者更进一步，分享彼此所拥有的平台。2.数据挖掘 for “actionable ” insightsdiscov

8、ery数据挖掘有很多不同的名称，例如 KDD(knowledge discovery in,预测建模(predictive model)database),或者 BI(businessintelligence)等，但针对我们业务感受，我更愿意把数据挖掘定义为发现能够让品牌商产生真正落地行为的洞察或发现。以下举两个在项目中的小例子：在电商的数据挖掘中，我们通过对消费者的表达研究了解消费者购买产品 的关注重点是什么，影响产品满意度的重要因素是什么，其次我们会对消费者 的线上购买行为数据进行研究，去看消费者购买除了买自己品牌的商品同时还 会购买哪些竞品品牌。结合这表达和行为的洞察，再深入探究竞品的商品展示， 宣传，品牌形象，等等各方面和本品之间的差异点。这样品牌商在电商运营中 更能有方向性的去改进产品和消费者之间的沟通方式。所以，数据挖掘是在一项探测大量数据以发现有意义的模式和规则的业务 流程，我们关注的重点在于发现的知识是否有意义，是否