数据挖掘七步走.doc

数据挖掘七步走写写我对数据挖掘过程的体会吧！Step1.商业理解 就是商业问题的理解了，那么如何更好的理解“老大”提出的商业问题困惑呢？我觉得思维导图倒是个不错的选择，当然自己要想更好的理解“老大”的意思还需要进一步的沟通，商业问题的理解关系到这个挖掘项目的价值，甚至成败，所以在这块大家要显得“外向”一些，多交流、多沟通、多了解这个商业问题背后的东东； step2.字段提取 接下来就是需要提取的字段，也就是数据挖掘的宽表，这点就要和企业的DBA人员多多交流，看数据库中各个维度的表格都有什么字段，主要关联的主键有那些，那么如何选取字段呢？这就需要自己把自己与“老大”共同讨论的思维导图拿出来看看，这样就有提取那些字段的感觉了，这部分大多数的提取是自己对商业问题的感觉或者一些前辈的经验； Step3.数据的ETL 数据的ETL，这部分一般的时间占数据挖掘项目的70%左右，为什么数据的ETL如此重要呢？万丈高楼平地起，如果连地基都是“豆腐渣工程”的话，那么再华丽的楼房也没人愿意掏腰包；嘿嘿，开个玩笑；数据的ETL主要是一些异常值、空值（miss值）、错误数值的处理，这部分一般需要根据数据自身的分布、简单的统计知识、该字段体现的业务特点、自己的经验进行的，也就是这一部分的处理主要是统计知识+项目经验+业务特点； Step4.变量选择 建立模型所需要的变量如何选？当然目标变量（Y）一般都是事前设定好的，那么X如何找呢？大多数都是应用相关分析、特征选择、描述性的统计图表（分箱图、散点图等），这里我只想说一句算法是死的，有时候我们根据算法得出来的X对Y没有影响，但在实际的业务中影响却很大，所以大家不要过于依赖算法、工具，我曾经因为这点，被人批了，555 Step5.数据挖掘建模 建立数据挖掘模型，这块是许多同行相当痴迷的地方，我也不例外，记得大学毕业去北京的时候，就在咨询公司研究算法什么的，后来经过leader的几次谈话，自己才慢慢走出了误区；一句话，我们追求的是模型带来的效益，所以没那么多时间去玩模型、搞算法；但是作为数据挖掘从业者，最基本的应该是了解各种算法的原理，还有一些数据挖掘模型参数的意义，比如在spss clementine中就有自定义和专家两个供大家选择，所以掌握一些参数的意义也是有必要的，大家可以上网下一些人大数据挖掘的视频教程，里面讲的比较详细； Step6.模型评估 模型评估，大部分都是借助数据挖掘自带的评估模型来做，什么准确度、收益率等，理论上很完美，实际中就一定有疗效吗？非也！有时候模型跑出来的信息很诡异的，建模人员都无法知道这个结果如何去解读，这时我倒是觉得可以从模型中选取一部分人群来做一下简单的调研，或许能获得更多数据背后的东西，也能为自己的片子多几分数据解读的色彩，何乐而不为呢？ Step7.模型可视化展示 模型可视化展示，可视化一直是一些数据服务公司所追求的东东，也是我们从业人员一种传达信息的方式，对于一个专题的数据挖掘模型，我相信大家都能通过一些图表、表格或者更炫的PPT搞定，打个岔，我常常遇到这样的问题，在对多维度做交叉分析时，因为涉及许多数据维度的钻取而很难展现给决策者，这时可以用水晶易表来做动态的展示，但是遇到更复杂的逻辑呢？大家不难发现现在大部分的数据分析系统或者叫运营体系的分析维度都是作为一个content展现给使