大数据分析方法

1、大数据分析方法的交流、分析思想、流程和工具的探讨、主要内容、引言数据分析框架数据分析的实施流程总结、引言数据必须是“大”的时代交通大数据、旅行大数据、网络销售大数据2011年起各种“V”: Volume 新的velocity (价值、真实性)组合方式：存储(云)处理(并行)保护(安全性)分析(数据挖掘、机器学习)的潜力是否是无限vs？ 创新是以主vs继承为主吗？ 引言，思考1 :“大”的数据，应该有多大，水平不严格，范围不严格2 :新的方法，到底有多新？ 很多继承传统方法的新方法解决了表面狭隘的思考3 :新的结论有多大价值？ 事实多，推论的结论效果差，实践应用差的总结：大的数据是新的数据观充分

2、认识和分析数据价值(潜力和界限)的方法，引言，零售数据分析：我们的优势1，具有最精粹的数据，产出结论有说服力(大，有说服力) 难以筛选) 2、时间广泛的比较分析方便的是，能做什么，数据分析的工作框架，工作框架，必要的结论：大幅度扩展想要的数据资源和分析方法，分析对象的理解和问题思考不足的左半部分停滞是最重要的还是商业思考，必要的结论， 充分扩展数据分析能解决的内容、工作框架两部分，首先，理解宏观问题并提出系统假设，把假设简化为数据分析之后，两项工作不能忽视。 充分研究理解对象，判断我们想知道什么(想发现问题)，我们想研究的问题有意义(减少人的损失)，判断工作框架的数据分析的第6阶段1，研究对象

3、的主观、客观、整体的局部的认识2，想探索的宏观问题(自由的、明确的) 3 5 .分解研究假说，划分为能定量分析的单元。 6、将数据资源和数据分析方法结合起来得出结论，验证假设和理论的可扩展性。 工作框架、两个重要问题所产生的结论在理论上应说明相反的例子：消费额与停车场大小呈正相关关系(关联性需要结合背景)的机器学习方法说明差，很多模型拟合数据，现实世界复杂，参数多认真考虑运用效果提出问题的可操作性的反对例子是不好的：不同客户的消费喜好分析、竞争力比较，我们把六个步骤分别结合起来，分别完成它们的方法和几个重点问题，数据分析的具体流程，步骤1 :确立对对象的整体认识， 内容：确立对对象的主观印象的

4、意义：对产生新问题的问题产生合理的假设的着手点：观察现状的例子：购物中心的消费习惯的变化观察数据例子：除了消费数据分析暗示的消费集团的变化之外，记者还表示：快递数据暗示了房价第二步：提出想探索的宏观问题，内容：大的目标形式：“a对b的影响”，“a未来一年的销售额”等，提出了容易解释，可变因子不超过一个的问题。反例：不同的职业状态对不同年龄层的顾客的影响1、职业状态和年龄层的范围过宽2、“影响”没有指定具体的内容，因此该调查能消耗资源，失去重点：饮食区域面积对从顾客到店铺的数量的影响(指定职业状态，指定影响内容，排除年龄因素促进客人的流动吗？ 市政服务？ 考虑分析结果可能给各种对象带来的正例子：

5、男女消费者对购物中心环境设计的不同喜好的负例子：为地区客户设计不同的会员礼物-成本的负例子：周边办公楼的客流对销售的影响-不采取对策， 步骤4 :对宏观问题提出充分的假说内容：提出各种各样的小问题例子：顾客对购物中心服务满意度的影响因素假说1 :服务员对顾客的态度假说2 :购物中心提供的附加服务种类假说3 :购物中心服务种类假说3 分析的影响因素及其影响程度，步骤5 :将对象分解为可测量的数据，内容：将各假设中提到的要素量化，假设1 :以服务人员对顾客的态度为例，数据库数据：上班记录、日常审查记录、投诉记录问卷数据：服务效率、服务效率情感表现等类似的定量评分注：有些研究问题已经明确量化，有些需

6、要人工确定量化标准，步骤6 :用数据分析方法得出结论内容：应用各种数据方法得出结论形式：数值、概率值、图表分析软件和语言SPSS、SAS、Matlab smartPLS Python、r等分析方法：常用的统计方法： t检验、方差分析、相关分析、回归分析、因子分析、时间序列分析、结构方程式模型等，供统计学教材参考。 机器学习方法：参考机器学习指导论，如聚类、分类、神经网络、决策树等。 补充、必须认真防止的致命错误： 1、与环境(背景)结合的例子：突发事件的影响2、认真的逻辑关联例子：往年节日的“前一年同期”3、“没见过”例子：飞机损坏经常是“关联”的欺骗性的“所有东西相关”数据函数总结大数据和新方法只是新