第1章--数据分析概论ppt课件.ppt

第一章数据分析概论 1 走进数据分析 Suncorp Metway使用数据分析实现智慧营销Suncorp Metway是澳大利亚一家提供普通保险 银行业 寿险和理财服务的多元化金融服务集团 旗下拥有5个业务部门 管理着14类商品 由公司及共享服务部门提供支持 其在澳大利亚和新西兰的运营业务与900多万名客户有合作关系 该公司过去十年间的合并与收购 使客户群增长了200 这极大增加了客户群数据管理的复杂性 如果解决不好 必将对公司利润产生负面影响 2 为此 IBM公司为其提供了一套解决方案 组件包括 IBMCognos8BI IBMInitiateMasterDataService和IBMUnica 采用该方案后 Suncorp Metway公司至少在以下三项业务方面取得显著成效 1 显著增加了市场份额 但没有增加营销开支 2 每年大约能够节省1000万美元的集成与相关成本 3 3 避免向同一户家庭重复邮寄相同信函并且消除冗余系统 从而同时降低直接邮寄与运营成本 由此可见 Suncorp Metway公司通过该方案将此前多个孤立来源的数据集成起来 实现智慧营销 对控制成本 增加利润起到非常积极的作用 4 目录 第一节数据分析第二节数据分析的步骤第三节数据分析需要注意的问题第四节数据分析师的职业发展第五节数据分析中常用的指标和术语 5 第一节数据分析 一 数据分析的概念二 数据分析的目的三 数据分析的方法四 数据分析的类型 6 第一节数据分析 一 数据分析的概念数据分析是指用适当的统计分析方法对收集来的大量数据进行分析 将它们加以汇总和理解并消化 以求最大化地开发数据的功能 发挥数据的作用 数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程 数据也称观测值 是实验 测量 观察 调查等的结果 常以数量的形式给出 7 二 数据分析的目的 数据分析的目的是把隐藏在一大批看似杂乱无章的数据背后的信息集中 提炼出来 总结出所研究对象的内在规律 帮助管理者在实际工作中进行判断和决策 以便采取适当的策略和行动 8 三 数据分析的方法 1 列表法2 作图法 9 1 列表法将实验数据按一定规律用列表方式表达出来是记录和处理实验数据最常用的方法 表格的设计要求对应关系清楚 简单明了 有利于发现相关量之间的物理关系 此外还要求在标题栏中注明物理量名称 符号 数量级和单位等 根据需要还可以列出除原始数据以外的计算栏目和统计栏目等 最后还要求写明表格名称 主要测量仪器的型号 量程和准确度等级 有关环境条件参数如温度 湿度等 10 2 作图法作图法可以最醒目地表达物理量间的变化关系 从图线上还可以简便求出实验需要的某些结果 如直线的斜率和截距值等 读出没有进行观测的对应点 内插法 或在一定条件下从图线的延伸部分读到测量范围以外的对应点 外推法 此外 还可以把某些复杂的函数关系 通过一定的变换用直线图表示出来 11 三 类型 在统计学领域 有些人将数据分析划分为描述性统计分析 探索性数据分析以及验证性数据分析 其中 探索性数据分析侧重于在数据之中发现新的特征 而验证性数据分析则侧重于已有假设的证实或证伪 12 描述性数据分析1 属于初级数据分析 2 常见的分析方法有 1 对比分析法 也叫对比法或比较分析法 是通过实际数与基数的对比来提示实际数与基数之间的差异 借以了解经济活动的成绩和问题的一种分析方法 2 平均分析法 利用平均指标对获得的数据进行分析的方法 平均指标又称平均数 反应在一定时间 地点条件下某一数量特征的一般水平 13 3 交叉分析法 又称立体分析法 是在纵向分析法和横向分析法的基础上 从交叉 立体的角度出发 由浅入深 由低级到高级的一种分析方法 这种方法虽然复杂 但它弥补了 各自为政 分析方法所带来的偏差 例如 A公司净资产收益率为0 35 营业利润率为0 74 每股收益为0 009 元 而假设B公司净资产收益率为10 营业利润率为12 每股收益为0 57 元 这些指标反映出B公司优于A公司 但是假设A公司自己和自己比 则上述各项指标都在逐年上升 而B公司自己和自己比 则上述各项指标都在逐年下降 因此 从长远趋势考虑 可以购买A公司的股票 14 探索性数据分析以及验证性数据分析1 属于高级数据分析2 常见的分析方法有 1 相关分析 是研究现象之间是否存在某种依存关系 并对具体有依存关系的现象探讨其相关方向以及相关程度 是研究随机变量之间的相关关系的一种统计方法 例如 以X和Y分别记一个人的身高和体重 或分别记每公顷施肥量与每公顷小麦产量 则X与Y显然有关系 而又没有确切到可由其中的一个去精确地决定另一个的程度 这就是相关关系 15 2 因子分析 是指研究从变量群中提取共性因子的统计技术 最早由英国心理学家C E 斯皮尔曼提出 他发现学生的各科成绩之间存在着一定的相关性 一科成绩好的学生 往往其他各科成绩也比较好 从而推想是否存在某些潜在的共性因子 或称某些一般智力条件影响着学生的学习成绩 因子分析可在许多变量中找出隐藏的具有代表性的因子 将相同本质的变量归入一个因子 可减少变量的数目 还可检验变量间关系的假设 16 3 回归分析 是在掌握大量观察数据的基础上 利用数理统计方法建立因变量与自变量之间的回归关系函数表达式 称回归方程式 17 四 数据分析的作用 1 现状分析 1 帮助管理者了解企业现阶段的整体运营情况 2 帮助管理者了解企业各项业务的构成 企业各项业务的发展及变动情况以及企业运行状况 现状分析一般通过日常通报来完成 如日报 周报 月报等形式 18 2 原因分析进一步确定业务变动的具体原因 原因分析一般通过专题分析完成 根据企业运营情况 针对某一现状进行原因分析 19 3 预测分析对企业未来发展趋势进行预测 为制定企业运营目标及策略提供有效的参考与决策依据 以保证企业的可持续健康发展 预测分析一般通过专题分析来完成 通常在制定企业嫉妒 年度计划是进行 预测分析开展的频率没有现状分析和原因分析高 20 第二节数据分析的步骤 一 明确分析目的和思路二 数据收集三 数据处理四 数据分析五 数据展现六 报告撰写 21 第三节数据分析需要注意的问题 1 确定收集条件先确定硬性的条件 要收集的是自己行业的 竞争对手的 还是很多行业的 再根据最终的分析项目和目标来确定收集时的一些条件 防止在收集的时候 收集了很多用不到的信息 22 2 确定分析项目要确定分析项目 主要的还要看我们收集和分析数据的目的是什么 根据这个目标 来确定什么样的条件可以达到这个目标 比如一个旅游网站的好坏或者要排到前几名 并不仅仅是看网站做的怎么样 主要的还要看用户体验和SEO相关数据 23 3 数据收集比如收集一个省份的旅游网站时 我们要找出TOP5 收集起来的网站就不要超过10个 当然这10个网站也是我们根据收集和分析的条件筛选出来的比较好的 把收集好的网站都放到Excel表格里 方法以此类推 收集完所有需要的数据 24 4 数据分析数据分析就要有说明 这样别人在看到这份数据的时候才知道怎么回事 25 5 美化表格数据分析完毕 出来的表格可以美化一下 比如调一下格式 变个颜色等 这样加上数据分析说明 更能让人一目了然 26 第四节数据分析师的职业发展 一 前景在互联网时代 与传统的数据分析师相比 互联网时代的数据分析师面临的不是数据匮乏 而是数据过剩 因此 互联网时代的数据分析师必须学会借助技术手段进行高效的数据处理 更为重要的是 互联网时代的数据分析师要不断在数据研究的方法论方面进行创新和突破 例如 结合传统的消费心理学理论 构建丰富的互联网信息消费行为模型 27 就行业而言 数据分析师的价值与此类似 就新闻出版行业而言 无论在任何时代 媒体运营者能否准确 详细和及时地了解受众状况和变化趋势 都是媒体成败的关键 数据分析师在这方面大有可为 28 职业分析 数据分析师分布在不同行业中 专门从事行业数据搜集 整理 分析 并依据数据做出行业研究 评估和预测 数据分析师需要敏锐的数字洞察力 因此 统计 会计 保险 工程经济 金融 数学 计算机等专业的同学对这个行业有明显优势 但其他行业的同学如果对这个职业感兴趣 通过日常学习 掌握一些统计必备技能 亦可以从事此类工作 29 薪资介绍 数据分析师存在于很多行业 一般在传统行业中工资较为固定 薪资范围在3000 6000之间 在互联网行业中数据分析师的薪资幅度较大 在比较知名的互联网行业和大型保险公司中 优秀的数据分析师月薪数万不成问题 30 专业证书 目前全国的数据分析行业的认证有项目数据分析师 项目数据分析师 CERTIFIEDPROJECTSDATAANALYST 简称 CPDA 是专业从事投资项目财务数据分析的高级决策人通过掌握的大量行业数据以及科学的计算工具 为投资机构做出正确的项目投资决策 CPDA由中国商业联合会数据分析专业委员会 国家工信部颁发的项目数据分析师职业技术证书 31 据统计数据表明 在今后的五年内 我国将需要6万名持有项目数据分析师证书的项目分析专业人才 政府经济部门 金融机构 投资公司以及企业对项目数据分析师的需求正在与日俱增 注册项目数据分析师 CPDA 职业的年薪会迅速提升到20万以上 项目数据分析师的报考要求其中一项是有一年以上工作经验 不建议在校学生报考此专业证书 32 主要工作领域及岗位 1 从事投资项目审核审批和招商引资 项目评估 投资决策等工作的政府机构 企业的相关领导以及从业人员 2 在银行或非银行金融机构 投资管理公司 投资管理顾问公司从事风险投资 产业投资 信贷和投资管理等方面工作的专业从业人员 3 会计师事务所 资产评估事务所及税务师事务所 律师相关专业人员 33 4 学习财务 统计 投资 金融和企业管理等相关专业的在校应届学生 5 在企事业单位从事市场调查与宣传工作的人士以及具有策划与决策工作职能要求的人士 6 在不同领域尝试创业以及在投资 金融 资本运营 房地产和企业管理领域发展的各界人士 34 二 职业要求 1 懂业务2 懂管理3 懂分析4 懂工具5 懂设计 35 三 基本素质 1 态度严谨负责2 好奇心强烈3 逻辑思维清晰4 勇于创新 36 第五节数据分析中常用的指标和术语 1 平均数2 绝对数与相对数3 百分比与百分点4 频数与频率5 比例与比率6 倍数与番数7 同比与环比 37 1 平均数 算术平均数算术平均数是指在一组数据中所有数据之和再除以数据的个数 它是反映数据集中趋势的一项指标 公式为 平均数 a1 a2 an n 38 几何平均数n个正实数乘积的n次算术根 给定n个正实数a1 a2 an 其几何平均数为 a1 a2 an 1 n 特别是 两个正数a b的几何平均数c a b 1 2 是a与b的比例中项 任意n个正数a1 a2 an的几何平均数不大于这n个数的算术平均数 即 a1 a2 an 1 n a1 a2 an n 这个不等式在研究其他不等式或极值等问题时常起特殊作用 39 加权平均数若n个数x1 x2 xn的权分别为w1 w2 wn 则这n个数的加权平均数是 x1w1 x2w2 xnwn w1 w2 wn 40 2 绝对数与相对数 统计中常用的总量指标就是绝对数 它是反映客观现象总体在一定时间 地点条件下的总规模 总水平的综合指标 如 一定总体范围内粮食总产量 工农业总产值 企业单位数等 41 相对指标就是相对数 它是由两个有联系的指标对比计算的 用以反映客观现象之间数量联系程度的综合指标 其数值表现为相对数 计算相对数的基本公式是 比较数值 比数 相对数 基础数值 基数 42 3 百分比与百分点 百分数是表示一个数是另一个数的百分之几的数 也叫百分率或百分比 百分数通常不写成分数的形式 而采用符号 叫做百分号 来表示 百分数在工农业生产 科学技术 各种实验中有着十分广泛的应用 特别是在进行调查统计 分析比较时 经常要用到百分数 43 百分点是指不同时期以百分数的形式表示的相对指标 如 速度 指数 构成等 的变动幅度 例如 我国国内生产总值中 第一产业占的比重由1992年的23 8 下降到1993年的21 2 从上述资料中 我们可以说 国内生产总值中 第一产业占的比重 1993年比1992年下降2 6个百分点即就是21 2 23 8 2 6 但不能说下降2 6 1个百分点 1 44 4 频数与频率 频数 在一组依大小顺序排列的测量值中 当按一定的组距将其分组时出现在各组内的测量值的数目 如有一组测量数据 数据的总个数N 148最小的测量值xmin 0 03 最大的测量值xmax 31 67 按组距为 x 3 000将148个数据分为11组 其中分布在15 05 18 05范围内的数据有26个 则称该数据组的频数为26 45 频率是每组类别与总数的比值 46 5 比例与比率 比率表示总体中的一部分与总体作比较 一般用百分比的形式表示 比例表示总体中两个部分