干货大牛数据分析师养成日记.docx

以上是一位资深的数据分析师写的自嘲的段子，却是很多分析师的真实写照。在耀眼的职业光环下，数据分析师自身的成长，几乎是与孤寂相伴，在高级打杂中，锻造而成。最近接到一个职业访谈的邀请，要给对数据分析感兴趣的新人Y(目前在知名电商从事系统开发和维护)一些建议，才突然发现自己在这个领域打滚了一段时间，一阵感叹后，写下自己的一些体会，尽管不全面，但或许能够给新人一些借鉴。如有不妥地方，请各位数据大牛轻拍。一、数据分析师有哪些要求?1、理论要求及对数字的敏感性，包括统计知识、市场研究、模型原理等。2、工具使用，包括挖掘工具、数据库、常用办公软件(excel、PPT、word、脑图)等。3、业务理解能力和对商业的敏感性。对商业及产品要有深刻的理解，因为数据分析的出发点就是要解决商业的问题，只有理解了商业问题，才能转换成数据分析的问题，从而满足部门的要求。4、汇报和图表展现能力。这是临门一脚，做得再好的分析模型，如果不能很好地展示给领导和客户，成效就大打折扣，也会影响到数据分析师的职业晋升。二、请把数据分析作为一种能力来培养从广义来说，现在大多数的工作都需要用到分析能力，特别是数据化运营理念深入的今天，像BAT这样的公司强调全员参与数据化运营，所以，把它作为一种能力培训，将会让你终生受益。三、从数据分析的四个步骤来看清数据分析师需具备的能力和知识：数据分析的四个步骤(这有别于数据挖掘流程：商业理解、数据理解、数据准备、模型搭建、模型评估、模型部署)，是从更宏观地展示数据分析的过程：获取数据、处理数据、分析数据、呈现数据。(一) 获取数据获取数据的前提是对商业问题的理解，把商业问题转化成数据问题，要通过现象发现本质，确定从哪些纬度来分析问题，界定问题后，进行数据的采集。此环节，需要数据分析师具备结构化的思维和对商业问题的理解能力。推荐书籍：金字塔原理、麦肯锡三部曲：麦肯锡意识、麦肯锡工具、麦肯锡方法工具：思维导图、mindmanager软件(二) 处理数据一个数据分析项目，通常数据处理时间占70%以上，使用先进的工具有利于提升效率，所以尽量学习最新最有效的处理工具，以下介绍的是最传统的，但却很有效率的工具：Excel：日常在做通报、报告和抽样分析中经常用到，其图表功能很强大，处理10万级别的数据很轻松。UltraEdit：文本工具，比TXT工具好用，打开和运行速度都比较快。ACCESS：桌面数据库，主要是用于日常的抽样分析(做全量统计分析，消耗资源和时间较多，通常分析师会随机抽取部分数据进行分析)，使用SQL语言，处理100万级别的数据还是很快捷。Orcle、SQL sever：处理千万级别的数据需要用到这两类数据库。当然，在自己能力和时间允许的情况下，学习新流行的分布式数据库及提升自身的编程能力，对未来的职业发展也有很大帮助。分析软件主要推荐：SPSS系列：老牌的统计分析软件，SPSS Statistics(偏统计功能、市场研究)、SPSS Modeler(偏数据挖掘),不用编程，易学。SAS：老牌经典挖掘软件，需要编程。R：开源软件，新流行，对非结构化数据处理效率上更高，需编程。随着文本挖掘技术进一步发展，对非结构化数据的分析需求也越来越大，需要进一步关注文本挖掘工具的使用。(三) 分析数据分析数据，需要用到各类的模型，包括关联规则、聚类、分类、预测模型等，其中一个最重要的思想是对比，任何的数据需要在参照系下进行对比，结论才有意义。推荐的书籍：1、数据挖掘与数据化运营实战，思路、方法、技巧与应用，卢辉著，机械出版社。这本书是近年国内写得最好的，务必把它当作圣经一样来读。2、谁说菜鸟不会数据分析(入门篇)和谁说菜鸟不会数据分析(工具篇)，张文霖等编著。属于入门级的书，适合初学者。3、统计学第五版，贾俊平等编著，中国人民大学出版社。比较好的一本统计学的书。4、数据挖掘导论完整版，美Pang-Ning Tan等著，范明等翻译，人民邮电出版社。5、数据挖掘概念与技术,Jiawei Han等著，范明等翻译，机械工业出版社。这本书相对难一些。6、市场研究定量分析方法与应用，简明等编著，中国人民大学出版社。7、问卷统计分析实务SPSS操作与应用，吴明隆著，重庆大学出版社。在市场调查领域比较出名的一本书，对问卷调查数据分析讲解比较详细。(四) 呈现数据该部分需要把数据结果进行有效的呈现和演讲汇报，需要用到金字塔原理、图表及PPT、word的呈现，培养良好的演讲能力。推荐书籍：1、说服力让你的PPT会说话，张志等编著，人民邮电出版社。2、别告诉我你懂ppt加强版，李治著，北京大学出版社。3、用图表说话，基恩。泽拉兹尼著，马晓路等翻译，清华大学出版社。(五) 其他的知识结构数据分析师除了具备数学知识外，还要具备市场研究、营销管理、心理学、行为学、产品运营、互联网、大数据等方面的知识，需要构建完整广泛的知识体系，才能支撑解决日常遇到的不同类型的商业问题。推荐书籍：1、消费者行为学第10版，希夫曼等人著，江林等翻译，中国人民大学出版社，现在应该更新到更高的版本。2、怪诞行为学升级版，艾瑞里著，赵德亮等翻译，中信出版社3、营销管理，科特勒等著，梅清豪翻译，格致出版社和上海人民出版社联合出版4、互联网思维独孤九剑，赵大伟主编，机械出版社5、大数据时代生活、工作与思维的大变革，舍恩伯格等著，周涛等翻译，浙江人民出版社四、关于数据分析师的职业发展：1、数据分析师通常分两类，分工不同，但各有优势。一类是在专门的挖掘团队里面从事数据挖掘和分析工作的。如果你能在这类专业团队学习成长，那是幸运的，但进入这类团队的门槛较高，需要扎实的数据挖掘知识、挖掘工具应用经验和编程能力。该类分析师更偏向技术线条，未来的职业通道可能走专家的技术路线。另一类是下沉到各业务团队或者运营部门的数据分析师，成为业务团队的一员。他们工作是支撑业务运营，包括日常业务的异常监控、客户和市场研究、参与产品开发、建立数据模型提升运营效率等。该类型分析师偏向产品和运营，可以转向做运营和产品。2、数据分析师的理想行业在互联网，但条条大道通罗马，走合适你的路线。从行业的角度来看：1)互联网行业是数据分析应用最广的行业，其中的电商企业，更是目前最火的，而且企业也更重视数据分析的价值，是数据分析师理想的成长平台。2)其次是咨询公司(比如专门的数据挖掘公司Teradata、尼尔森等市场研究公司)，他们需要数据分析人才，而且相对来说，数据分析师在咨询公司成长的速度更快，专业也会更全面。3)再次是金融行业，比如银行和证券等行业，该行业对数据分析的依赖需求，越来越大。4)最后是电信行业(中国移动、联通和电信)，它们拥有海量的数据，在严峻的竞争下，也越来越重视数据分析，但进入这些公司的门槛比较高。五、什么人适合学习数据分析?这个问题的答案跟“什么人适合学功夫”一样，毫无疑问，功夫是适合任何人学习的(排除心术不正的人)，因为能够强身健体。而功夫的成效，要看习武者的修炼深浅。常常有人争论，是咏春拳厉害，还是散打厉害，其实是颠倒了因果，应该看哪个人练习得比较好，流派之间没有高低，只有人修炼的厚薄。实际上，问题的潜台词是“什么人学习数据分析，会更容易取得成功(比如职业成功)”，这个要视乎你的兴趣、付出和机遇。但要做到出类拔萃，除了上面三点，还需要一点天赋，这里的机遇是指你遇到的职业发展平台、商业环境、导师和同事。借用管理大师德鲁克的话“管理是可以习得的”，管理并非是天生的，而数据分析能力，也可以后天提升。或许做到优秀，只需要你更加的努力+兴趣，而这个努力的过程，也包括你寻找机遇的部分。六、关于如何学习：学习方法千万种，关键是找到适合自己的，最好能够结合你的工作遇到的问题来学习。1、搜集书籍、案例库和视频，先弄懂理论，然后学会软件操作，自己制作属于自己的教程。比如，你学习聚类分析模型。1)搜集相关的聚类分析模型的书籍、案例和教学视频，了解聚类分析的原理，主要有哪几种算法(划分、层次、密度、网格)、模型适用的范围和前提、如何评估模型的精确度等。2)自己学会用软件来实现。3)总结整理成一份PPT和制作操作视频，成为自己的学习教程，不断完善。4)学习到一定程度后，可以在博客、微信等渠道分享，授人与渔，而自己也会有所收获。2、关注名人、名博、网站，多渠道学习。1)关注专业的数据分析、咨询公司网站和论坛，特别强调，统计软件公司的网站如SPSS的官网有很多案例库，值得关注。数据分析网：/中国统计网：/爱数据网：/ 36大数据网/SPSS的案例库，可在官网上搜索各类案例：/developerworks/cn/data/library/techarticle/dm-1108zhangzy/index.html另外，你最好建一个自己的网址导航目录，提升你的学习效率2)关注名人名博，最好能加他们的微博、微信和微信公众号，看牛人的博客和微信等内容，还是能得到很多引导，这个你懂的。如沈浩老师的博客：/数据分析网公众号：afenxi_com数据海洋公众号：dataplayer“数聚”公众号：shuju_vip3)加入一些有共同爱好的QQ群，互相学习交流。通常群里有人会提出一些真实的运营问题，然后大家用不同的方法去解决，对思路很有启发。4)碎片化学习，最大化你的时间价值。为了把零散的时间利用起来，通常我会把一些资料上载到网盘，在零碎的时间里通过手机进行视频、文档学习等。目前使用百度云盘和360网盘。百度云盘应用比较广，通常在网络上搜索“关键词+百度云”后，搜到结果可以直接保存在云盘上，搜索保存速度极大提升。360网盘则空间比较大，可以到达40T，同时有保险箱加密功能，安全性高一些。手机上安装一些APP，随时随地学习。七、最后的建议请再次问问自己，是否真的喜欢数据分析，能否忍受处理数据时的寂寞?如果是，那就开始学习，给你几条建议。1、把数据分析作为一种能力培养，让自己在现在的团队中展现出良好的数据分析能力，为你以后内部转岗做好准备。如果内部转岗不成，你可以考虑跳槽到我之前分析的行业中，但我强烈建议你还是需要把系统开发的编程能力学习好，并且对商业智能系统(BI和CRM)有一定了解，这也许是应聘数据分析的优势。如果没有数据分析经验去应聘，相对会难一些，用人单位会考你统计和数据挖掘模型方面的知识，以及工具使用情况。2、在公司里找一些有共同爱好的同事一起学习数据分析，平时多请教数据分析做得好的同事，它山之石，可以攻玉。3、扎实学好一、两门数据挖掘软件，基于你有编程的基础，建议你可以学SAS或者R，同时辅助学习SPSS Modeler。如果没编程基础或者希望短期能够取得成效，那也可以先学习SPSS。SAS+SPSS，基本能够满足很大部分企业的需求，三者都会，那更好。4、要了解公司是如何运营，产品是如何开