数据与大数据分析PPT课件.pptx

2020 3 19 1 Contents 我们可以做些什么 实操分享 大数据 你从哪来 你是谁 2020 3 19 2 中国网民数量 7 51亿半年增长率 2 7 中国注册网站数量 344 3万个 手机网民 7 236亿占网民总数 96 3 月均网络交易 16亿笔 每日新发微博数量 1亿 条 注册微博用户数 2 9071亿 发布的网页数量 866亿页年增速 40 网络直播用户 3 43亿占网民总数 47 1 2020 3 19 3 很多人还没搞清楚什么是PC互联网 移动互联来了 我们还没搞清楚移动互联的时候 大数据时代又来了 马云 2020 3 19 4 数据爆炸式的增长 数据资产管理的挑战 需要更高性价比的数据计算与储存方式 需要不同的数据管理策略 01 你从哪里来 2020 3 19 5 数据爆炸式的增长 2020 3 19 6 数据资产管理的挑战 数据资产 数据资产管理 传统数据管理方式面临挑战 2020 3 19 7 需要更高性价比的数据计算与储存方式 计算更快存储更省 10万GB 10万TB 1Byte 8Bit1KB 1 024Bytes1MB 1 024KB 1 048 576Bytes1GB 1 024MB 1 048 576KB 1 073 741 824Bytes1TB 1 024GB 1 048 576MB 1 099 511 627 776Bytes1PB 1 024TB 1 048 576GB 1 125 899 906 842 624Bytes1EB 1 024PB 1 048 576TB 1 152 921 504 606 846 976Bytes1ZB 1 024EB 1 180 591 620 717 411 303 424Bytes1YB 1 024ZB 1 208 925 819 614 629 174 706 176Bytes 1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB 2020 3 19 8 需要不同的数据管理策略 15 结构化的DB DW 残缺 当我们想要扩充时 才发觉 架构只能scale up scale out不易处理时间过长 time to value受限成本过高 cost efficiency受限 2020 3 19 9 概念 Concept 特征 Features 变革 Change 技术 Technology 数据库 database 大数据 bigdata 你是什么 02 2020 3 19 10 大数据是需要新处理模式才能具有更强的决策力 洞察发现力和流程优化能力的海量 高增长率和多样化的信息资产 大数据就是 未来的新石油 全球信息咨询机构国际数据公司 IDC 对大数据的技术定义是 通过高速捕捉 发现或分析 从大容量数据中获取价值的一种新的技术架构 所谓 大数据 bigdata 指的是这样一种现象 一个公司日常运营所生成和积累用户行为数据 增长如此之快 以至于难以使用现有的数据库管理工具来驾驭 困难存在于数据的获取 存储 搜索 共享 分析和可视化等方面 这些数据量是如此之大 已经不是以我们所熟知的多少G和多少T为单位来衡量 而是以P 1000个T E 一百万个T 或Z 10亿个T 为计量单位 所以称之为大数据 概念 2020 3 19 11 数据类型多越来越多非结构化数据 音频 食品 地理位置信息等多类型数据对数据处理能力提出更高要求 数据价值高海量数据带来了巨大的商业价值 数据之间关联性支持深层的数据挖掘 大数据的特点 4V理论 数据处理速度快对数据实时处理有着极高的要求 通过传统数据库查询方式得到的 当前结果 很可能已经没有价值 数据规模大从TB跃升到PB甚至EB 一组公式 1024GB 1TB 1024TB 1PB 1024PB 1EB 2020 3 19 12 大数据改变生活 2020 3 19 13 IBMC PIndustry 需求海量数据存储技术实时数据处理技术数据高速传输技术搜索技术 描述分布式文件系统流计算引擎服务器 存储间高速通信文本检索 智能搜索 实时搜索 技术Hadoop x86 MPPMapReduceStreamingDataInfiniBandEnterpriseSearch 数据分析技术 大数据涉及的关键技术 TextAnalyticsEngine自然语言处理 文本情感分析 VisualDataModeling机器学习 聚类关联 数据模型 2020 3 19 14 顾客一次购买商品1面包 黄油 尿布 牛奶2咖啡 糖 小甜饼 鲑鱼3面包 黄油 咖啡 尿布 牛奶 鸡蛋4面包 黄油 鲑鱼 鸡5鸡蛋 面包 黄油6鲑鱼 尿布 牛奶7面包 茶叶 糖 鸡蛋8咖啡 糖 鸡 鸡蛋9面包 尿布 牛奶 盐10茶叶 鸡蛋 小甜饼 尿布 牛奶 顾客一次购买商品1面包 黄油 尿布 牛奶2咖啡 糖 小甜饼 鲑鱼3面包 黄油 咖啡 尿布 牛奶 鸡蛋4面包 黄油 鲑鱼 鸡5鸡蛋 面包 黄油6鲑鱼 尿布 牛奶7面包 茶叶 糖 鸡蛋8咖啡 糖 鸡 鸡蛋9面包 尿布 牛奶 盐10茶叶 鸡蛋 小甜饼 尿布 牛奶 2020 3 19 15 概念 Concept 分类 Features 流程 Technologicalprocess 03 我们可以做些什么 2020 3 19 16 大数据时代的核心价值 数据分析 什么是数据分析 2020 3 19 17 数据分析有哪些类型 数据分析 对比分析法 平均分析法 交叉分析法 初级数据分析 高级数据分析 相关分析 因子分析 回归分析 2020 3 19 18 数据分析的一般环节 2020 3 19 19 04 关于数据分析的分享与交流 理论模型统计方法可视化 2020 3 19 20 数据分析方法论 2020 3 19 21 4P productpriceplacepromotion 2020 3 19 22 5W2H 2020 3 19 23 KANO模型 对顾客的不同需求进行分区处理 帮助团队识别对产品来说较为关键的客户需求层次 尽快完成规划 兴奋型需求 期望型需求 基本型需求 2020 3 19 24 数据分析统计方法 聚类分析 01 回归分析 02 时间序列分析 03 因子分析和主成分分析 04 数据分析软件MATLABSASSpssStataEviewsExcel 2020 3 19 25 可视化方法 ECHARTS EASELY PPT 附 1 ECHARTS 2020 3 19 26 THEEND 2020 3 19 27 用户行为理论 用户行为理论的用途较单一 就是用于用户行为研究分析用户使用行为 认知 熟悉 试用 使用 忠诚利用用户行为理论 梳理网站分析的各关键指标之间的逻辑关系 构建符合公司实际业务的网站分析指标体系 2020 3 19 28 ADDYOURTITLEHERE TEXTHERE TEXTHERE TEXTHERE TEXTHERE TEXTHERE ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 2020 3 19 29 数据分析统计方法 01 02 04 03 聚类分析 ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 2020 3 19 30 数据分析统计方法聚类分析回归分析因子分析和主成分分析时间序列分析 数据分析软件MATLABSASSpssStataEviewsExcel 2020 3 19 31 1 绩效指标必须是具体的 Specific 2 绩效指标必须是可以衡量的 Measurable 3 绩效指标必须是可以达到的 Attainable 4 绩效指标是要与其他目标具有一定的相关性 Relevant 5 绩效指标必须具有明确的截止期限 Time bound 无论是制定团队的工作目标还是员工的绩效目标都必须符合上述原则 五个原则缺一不可 2020 3 19 32 ADDYOURTITLEHERE MAINIDEAThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 2020 3 19 34 03 ADDYOURTITLEHERE Thisisanexampletext Goaheadandreplaceit 2020 3 19 35 数据资产管理的挑战 2020 3 19 36 数据资产管理的挑战 2020 3 19 37 2020 3 19 38 2020 3 19 39 软件是大数据的引擎 和数据中心 DataCenter 一样 软件是大数据的驱动力 软件改变世界 2020 3 19 40 中央政府对大数据的重视程度 2020 3 19 41 零售业 制造业 信息产业 移动通信 金融证券 数据量大 挖掘潜力大 数据意识强 IT基础好 这些产业在大数据分析应用方面具有如下优势 数据化让产业绩效大幅提升 电子商务 医疗服务 2020 3 19 42 ADDYOURTITLEHERE Thisisanexampletext Goaheadandreplaceit 01 Thisisanexampletext Goaheadandreplaceit 02 Thisisanexampletext Goaheadandreplaceit 03 Thisisanexampletext Goaheadandreplaceit 04 80 47 57 67 2020 3 19 43 数据分析的一般环节 2020 3 19 44 数据分析的一般环节 AADDYOURTEXEHERE BADDYOURTEXEHERE CADDYOURTEXEHERE EADDYOURTEXEHERE DADDYOURTEXEHERE 2020 3 19 45 2020 3 19 46 2020 3 19 47 在项目投资分析之外 数据分析的价值在企业经营管理上起到更加举足轻重的作用 各种量化的模型 量化分析方法的应用 使数据下面隐藏的规律得以展现 让企业在运营管理上 市场营销上 客户服务体验上 越来越精细化 让企业在激烈的竞争中取胜 2020 3 19 48 数据分析的营销价值 预测消费行为 数据分析的营销价值 优化营销策略 数据分析的营销价值 消费者描述 数据分析的营销价值 个性化营销 数据分析的营销价值 广告精准投放 通过分析以下几个方面的关联性 为消费者推荐具体的产品和内容 产品本身的关联性 客户消费习惯的关联性 客户喜好的关联性 客户品牌的关联性 产品价格和价值的关联性 客户习性的一致性等等 2020 3 19 49 01 什么是大数据 2020 3 19 50 数据挖掘 1 从数据中提取出隐含的过去未知的有价值的潜在信息2 从大量数据或者数据库中提取有用信息的科学 典型事例 购物篮分析顾客一次购买商品1面包 黄油 尿布 牛奶2咖啡 糖 小甜饼 鲑鱼3面包 黄油 咖啡 尿布 牛奶 鸡蛋4面包 黄油 鲑鱼 鸡5鸡蛋 面包 黄油6鲑鱼 尿布 牛奶7面包 茶叶 糖 鸡蛋8咖啡 糖 鸡 鸡蛋9面包 尿布 牛奶 盐10茶叶 鸡蛋 小甜饼 尿布 牛奶 2020 3 19 51 SocialMedia Machine Sensor DOC Media WebClickstream Apps CallLog Log 什么是数据 半结构化 非结构化数据 2020 3 19 52 何为大 数据度量1Byte 8Bit1KB 1 024Bytes1MB 1 024KB 1 048 576Bytes1GB 1 024MB 1 048 576KB 1 073 741 824Bytes1TB 1 024GB 1 048 576MB 1 099 511 627 776Bytes1PB 1 024TB 1 048 576GB 1 125 899 906 842 624Bytes1EB 1 024PB 1 048 576TB 1 152 921 504 606 846 976Bytes1ZB 1 024EB 1 180 591 620 717 411 303 424Bytes1YB 1 024ZB 1 208 925 819 614 629 174 706 176Bytes 什么是大数据 2020 3 19 53 数据分析的流程 2020 3 19 54 ADDYOURTITLEHERE THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE 2020 3 19 55 ADDYOURTITLEHERE ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 2020 3 19 56 02 ADDYOURTITLEHERE Thisisanexampletext Goaheadandreplaceit 2020 3 19 57 ADDYOURTITLEHERE 60 ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 80 ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 50 ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 2020 3 19 58 ADDYOURTITLEHERE ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit ADDYOURTITLEHEREThisisanexampletext Goaheadandreplaceit 2020 3 19 59 ADDYOURTITLEHERE 19 Thisisanexampletext Goaheadandreplaceit 43 Thisisanexampletext Goaheadandreplaceit 25 Thisisanexampletext Goaheadandreplaceit MAINIDEAThisisanexampletext Goaheadandreplaceit 2020 3 19 60 ADDYOURTITLEHERE ADDYOURTITLEHEREThisis