大数据技术及数据分析课程培训师伟课件

大数据技术及数据分析主讲人：师伟1大数据技术及数据分析主讲人：师伟1课程收益学习数理统计的理念熟悉常见的处理套路掌握常用软件的使用解决学员的具体问题2课程收益学习数理统计的理念2目录数理统计常识数理统计技术3目录数理统计常识3目录数理统计常识量化的重要性统计基础知识数据挖掘简介数理统计技术4目录数理统计常识4案例5案例5案例记者 在短时间内发生这么多起跳楼的事件，如果站在理论 角度上，发生率算不算高？樊富珉 按卫生部统计，目前中国自杀率大概是十万分之十六 左右。而富士康40多万人，约十万分之二三左右，大 学生我们也做过统计，大概十万分之二到三左右。如 果从全国的自杀率来比的话，应该还是低的6案例记者 在短时间内发生这么多起跳楼的事件，如果站在理论 角案例世界银行发展委员会25日通过了发达国家向发展中国家转移投票权的改革方案，这一改革从一个侧面反映了世界经济版图的变化本次改革中，发达国家向发展中国家共转移了3.13个百分点的投票权。中国在世行的投票权从目前的2.77%提高到4.42%，成为世界银行第三大股东国，仅次于美国和日本世界银行规则：任何重要的决议必须由85%以上的表决权决定7案例世界银行发展委员会25日通过了发达国家向发展中国家转移投案例在一次海难中，统计数据为头等舱乘客319人，200人幸存二等舱乘客269人，117人幸存三等舱乘客699人，172人幸存从以上数据你可以发现什么？8案例在一次海难中，统计数据为8目录数理统计常识量化的重要性统计基础知识数据挖掘简介数理统计技术9目录数理统计常识9误差（波动）偶然误差可减小但不可消除系统误差可消除10误差（波动）偶然误差10抽样11抽样11连续数据和离散数据连续数据定量信息含量大离散数据定性信息含量小12连续数据和离散数据连续数据12判断数据属性销售订单准确度数据输入准确度销售地区用通规测量得到的孔径用卡尺测量得到的孔径客户热线对话时间空调制冷剂的重量一批顾客中不满意的人数一批顾客中不满意的比例13判断数据属性销售订单准确度13数据的居中程度和离散程度主要的居中指标平均值 数据集的平均值中位数 数据排序后得到的中间数众数 数据集中最频繁出现的值主要的离散指标极差 数据集中最大值与最小值的差值方差 与平均值间距的平方和的平均值标准偏差 方差的平方根14数据的居中程度和离散程度主要的居中指标14正态曲线大多数（但不是所有）数据符合正态分布15正态曲线大多数（但不是所有）数据符合正态分布15目录数理统计常识量化的重要性统计基础知识数据挖掘简介数理统计技术16目录数理统计常识16数据挖掘简介数据挖掘（DataMining）的概念从数据库数据中揭示出隐含的、未知的并有潜在价值的信息决策支持，基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助做出正确的决策17数据挖掘简介数据挖掘（DataMining）的概念17数据挖掘主要动作分类估值预测关联聚集可视化描述18数据挖掘主要动作分类18案例第一次战役 1950年10月26日 1950年11月02日第二次战役 1950年11月25日 1950年12月02日第三次战役 1950年12月31日 1951年01月08日19案例第一次战役 1950年10月26日 1950年11月02案例丰田大规模召回事件引起全球强烈反响，引发丰田信誉危机20案例丰田大规模召回事件引起全球强烈反响，引发丰田信誉危机20目录数理统计常识数理统计技术基础动作图表操作典型工具和应用21目录数理统计常识21基础动作搜集整理分析评估展示22基础动作搜集22目录数理统计常识数理统计技术基础动作图表操作典型工具和应用23目录数理统计常识23图表类型数字型逻辑型24图表类型数字型24图表的注意事项选取适当的图表类型数量图表应写清单位引用资料应说明出处不要妄图表达过多的信息图例一般控制在五个以下尽量简单明了、利于理解25图表的注意事项选取适当的图表类型25动态图表26动态图表26报告制作原则提案型报告说明型报告27报告制作原则提案型报告27文档制作原则逻辑清晰方案多选文字精炼内容可视恰当修饰体积小巧制作迅速28文档制作原则逻辑清晰28报告的需求管理报告的客户谁在看报告？希望看什么？希望的频率？希望的详略？相关的技巧买点和卖点金字塔原理29报告的需求管理报告的客户相关的技巧29报告的素材准则中肯可比准确时效可靠清晰30报告的素材准则中肯30素材组织的FAB技巧Feature 特点Advantage 优点Benefit 利益BenefitAdvantageFeature客户关注点31素材组织的FAB技巧Feature 特点BenefitAdv目录数理统计常识数理统计技术基础动作图表操作典型工具和应用32目录数理统计常识32规范处理数据和数据有效性数据处理的良好习惯Excel数据有效性33规范处理数据和数据有效性数据处理的良好习惯33层别法、聚类和表格维度层别法、聚类一维表和二维表34层别法、聚类和表格维度层别法、聚类34数据透视表35数据透视表35将数据按顺序等距分组，体现各组内频数的柱状图轮廓符合正态分布曲线说明处于稳定状态通过异常轮廓形状分析可定位异常的原因直方图36将数据按顺序等距分组，体现各组内频数的柱状图直方图36案例17418518919620819017818419020518418519419120520520720720720621020921721421420620921037案例17420537表现各项目频度降序排列及累积比例二八原则大问题优先柏拉图38表现各项目频度降序排列及累积比例柏拉图38ABC分析法A类0~70%，主要影响因素B类70~90%，次要影响因素C类90~100%，一般影响因素ABC的划分不是绝对的39ABC分析法A类ABC的划分不是绝对的39练习张女士结婚五年以来与丈夫发生纠纷如下不做家务 28次深夜不归 5次不良嗜好 5次没送礼物 1次胡乱花钱 3次婆媳关系 50次异性交往 8次请制作柏拉图并用ABC法分析40练习张女士结婚五年以来与丈夫发生纠纷如下40散布图、关联规则和预测研究两个特性之的内在关系坐标轴分别表示结果特性和原因特性使得解决问题时找出强相关的原因41散布图、关联规则和预测研究两个特性之的内在关系41常见类型散布图正相关强X的增加导致Y的明显增加正相关弱X的增加导致Y的略微增加因变量自变量强正相关弱正相关因变量自变量42常见类型散布图正相关强正相关弱因变量自变量强正相关弱正相关因常见类型负相关强X的增加导致Y的明显减少负相关弱X的增加导致Y的略微减少散布图因变量自变量强负相关自变量弱负相关因变量43常见类型负相关强负相关弱散布图因变量自变量强负相关自变量弱负常见类型散布图无相关Y的变化与X的变化毫无关系曲线关系X与Y之间无线性关系但符合某种曲线变化规律曲线相关因变量自变量不相关自变量因变量44常见类型散布图无相关曲线关系曲线相关因变量自变量不相关自变量预测Forecast法趋势线法45预测Forecast法45单变量求解46单变量求解46规划求解47规划求解47矩阵数据分析法矩阵数据分析法（MatrixDataAnalysisChart）用于排定优先级、做多目标决策量化表示各元素的关系，更准确地整理和分析结果48矩阵数据分析法矩阵数据分析法（MatrixDataAna案例49案例49练习50练习50中兴通讯管理体系总监中兴通讯最佳兼职讲师中兴通讯学院资深讲师中兴通讯学院质量课程经理深圳质量协会十大金牌讲师中国质量协会第六届学术教育委员会委员JOLIE`SAISATOURPPT制作：by小鱼扫一扫师伟老师公众号51中兴通讯管理体系总监JOLIE`SAISATOURPPT制演讲完毕，谢谢观看！演讲完毕，谢谢观看！大数据技术及数据分析主讲人：师伟53大数据技术及数据分析主讲人：师伟1课程收益学习数理统计的理念熟悉常见的处理套路掌握常用软件的使用解决学员的具体问题54课程收益学习数理统计的理念2目录数理统计常识数理统计技术55目录数理统计常识3目录数理统计常识量化的重要性统计基础知识数据挖掘简介数理统计技术56目录数理统计常识4案例57案例5案例记者 在短时间内发生这么多起跳楼的事件，如果站在理论 角度上，发生率算不算高？樊富珉 按卫生部统计，目前中国自杀率大概是十万分之十六 左右。而富士康40多万人，约十万分之二三左右，大 学生我们也做过统计，大概十万分之二到三左右。如 果从全国的自杀率来比的话，应该还是低的58案例记者 在短时间内发生这么多起跳楼的事件，如果站在理论 角案例世界银行发展委员会25日通过了发达国家向发展中国家转移投票权的改革方案，这一改革从一个侧面反映了世界经济版图的变化本次改革中，发达国家向发展中国家共转移了3.13个百分点的投票权。中国在世行的投票权从目前的2.77%提高到4.42%，成为世界银行第三大股东国，仅次于美国和日本世界银行规则：任何重要的决议必须由85%以上的表决权决定59案例世界银行发展委员会25日通过了发达国家向发展中国家转移投案例在一次海难中，统计数据为头等舱乘客319人，200人幸存二等舱乘客269人，117人幸存三等舱乘客699人，172人幸存从以上数据你可以发现什么？60案例在一次海难中，统计数据为8目录数理统计常识量化的重要性统计基础知识数据挖掘简介数理统计技术61目录数理统计常识9误差（波动）偶然误差可减小但不可消除系统误差可消除62误差（波动）偶然误差10抽样63抽样11连续数据和离散数据连续数据定量信息含量大离散数据定性信息含量小64连续数据和离散数据连续数据12判断数据属性销售订单准确度数据输入准确度销售地区用通规测量得到的孔径用卡尺测量得到的孔径客户热线对话时间空调制冷剂的重量一批顾客中不满意的人数一批顾客中不满意的比例65判断数据属性销售订单准确度13数据的居中程度和离散程度主要的居中指标平均值 数据集的平均值中位数 数据排序后得到的中间数众数 数据集中最频繁出现的值主要的离散指标极差 数据集中最大值与最小值的差值方差 与平均值间距的平方和的平均值标准偏差 方差的平方根66数据的居中程度和离散程度主要的居中指标14正态曲线大多数（但不是所有）数据符合正态分布67正态曲线大多数（但不是所有）数据符合正态分布15目录数理统计常识量化的重要性统计基础知识数据挖掘简介数理统计技术68目录数理统计常识16数据挖掘简介数据挖掘（DataMining）的概念从数据库数据中揭示出隐含的、未知的并有潜在价值的信息决策支持，基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助做出正确的决策69数据挖掘简介数据挖掘（DataMining）的概念17数据挖掘主要动作分类估值预测关联聚集可视化描述70数据挖掘主要动作分类18案例第一次战役 1950年10月26日 1950年11月02日第二次战役 1950年11月25日 1950年12月02日第三次战役 1950年12月31日 1951年01月08日71案例第一次战役 1950年10月26日 1950年11月02案例丰田大规模召回事件引起全球强烈反响，引发丰田信誉危机72案例丰田大规模召回事件引起全球强烈反响，引发丰田信誉危机20目录数理统计常识数理统计技术基础动作图表操作典型工具和应用73目录数理统计常识21基础动作搜集整理分析评估展示74基础动作搜集22目录数理统计常识数理统计技术基础动作图表操作典型工具和应用75目录数理统计常识23图表类型数字型逻辑型76图表类型数字型24图表的注意事项选取适当的图表类型数量图表应写清单位引用资料应说明出处不要妄图表达过多的信息图例一般控制在五个以下尽量简单明了、利于理解77图表的注意事项选取适当的图表类型25动态图表78动态图表26报告制作原则提案型报告说明型报告79报告制作原则提案型报告27文档制作原则逻辑清晰方案多选文字精炼内容可视恰当修饰体积小巧制作迅速80文档制作原则逻辑清晰28报告的需求管理报告的客户谁在看报告？希望看什么？希望的频率？希望的详略？相关的技巧买点和卖点金字塔原理81报告的需求管理报告的客户相关的技巧29报告的素材准则中肯可比准确时效可靠清晰82报告的素材准则中肯30素材组织的FAB技巧Feature 特点Advantage 优点Benefit 利益BenefitAdvantageFeature客户关注点83素材组织的FAB技巧Feature 特点BenefitAdv目录数理统计常识数理统计技术基础动作图表操作典型工具和应用84目录数理统计常识32规范处理数据和数据有效性数据处理的良好习惯Excel数据有效性85规范处理数据和数据有效性数据处理的良好习惯33层别法、聚类和表格维度层别法、聚类一维表和二维表86层别法、聚类和表格维度层别法、聚类34数据透视表87数据透视表35将数据按顺序等距分组，体现各组内频数的柱状图轮廓符合正态分布曲线说明处于稳定状态通过异常轮廓形状分析可定位异常的原因直方图88将数据按顺序等距分组，体现各组内频数的柱状图直方图36案例17418518919620819017818419020518418519419120520520720720720621020921721421420620921089案例17420537表现各项目频度降序排列及累积比例二八原则大问题优先柏拉图90表现各项目频度降序排列及累积比例柏拉图38ABC分析法A类0~70%，主要影响因素B类70~90%，次要影响因素C类90~100%，一般影响因素ABC的划分不是绝对的91ABC分析法A类ABC的划分不是绝对的39练习张女士结婚五年以来与丈夫发生纠纷如下不做家务 28次深夜不归 5次不良嗜好 5次没送礼物 1次胡乱花钱 3次婆媳关系 50次异性交往 8次请制作柏拉图并用ABC法分析92练习张女士结婚五年以来与丈夫发生纠纷如下40散布图、关联规则和预测研究两个特性之的内在关系坐标轴分别表示结果特性和原因特性使得解决问题时找出强相关的原因93散布图、关联