数据与大数据分析.pptx

Contents,我们可以做些什么,实操分享,大数据，你从哪来,你是谁,中国网民数量：7.51亿 半年增长率：2.7%,中国注册网站数量：344.3万个,手机网民：7.236亿 占网民总数：96.3%,月均网络交易： 16亿笔,每日新发微 博数量： 1亿+条,注册微博用户数： 2.9071亿,发布的网页数量：866亿页 年增速：40%,网络直播用户：3.43亿 占网民总数：47.1%,很多人还没搞清楚什么是PC互联网，移动互联来了；我们还没搞清楚移动互联的时候，大数据时代又来了！ 马云,数据爆炸式的增长,数据资产管理的挑战,需要更高性价比的数据计算与储存方式,需要不同的数据管理策略,01,你从哪里来？,数据爆炸式的增长,数据资产管理的挑战,数据资产,数据资产管理,传统数据管理方式面临挑战,需要更高性价比的数据计算与储存方式,计算更快 存储更省,10万 GB,10万 TB,1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,需要不同的数据管理策略,15% 结构化的 DB/DW,残缺,当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限,概念（Concept） 特征（Features） 变革（Change） 技术（Technology）,数据库（database）,大数据（bigdata）,你是什么？,02,大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。,全球信息咨询机构国际数据公司（IDC）对大数据的技术定义是：通过高速捕捉、发现或分析，从大容量数据中获取价值的一种新的技术架构。,所谓“大数据”(big data) 指的是这样一种现象：一个公司日常运营所生成和积累用户行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取、存储、搜索、共享、分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P(1000个T)， E(一百万个T)或Z(10亿个T)为计量单位，所以称之为大数据。,概念,数据类型多 越来越多非结构化数据；音频、 食品，地理位置信息等多类型数 据对数据处理能力提出更高要求。,数据价值高 海量数据带来了巨大的商业价值。数据之间关联性支持深层的数据挖掘。,大数据的特点-4V理论,数据处理速度快 对数据实时处理有着极高的要求， 通过传统数据库查询方式得到的 “当前结果”很可能已经没有价值。,数据规模大 从TB跃升到PB甚至EB。 一组公式：1024GB=1TB; 1024TB=1PB;1024PB=1EB。,。,大数据改变生活,IBM C&P Industry,需求 海量数据存储技术 实时数据处理技术 数据高速传输技术 搜索技术,描述 分布式文件系统 流计算引擎 服务器/存储间高速通信 文本检索、智能搜索、实时搜 索,技术 Hadoop，x86/MPP Map Reduce Streaming Data Infini Band Enterprise Search,数据分析技术,大数据涉及的关键技术,Text Analytics Engine 自然语言处理、文本情感分析、 Visual Data Modeling 机器学习、聚类关联、数据模型,顾客 一次购买商品 1 面包、黄油、尿布、牛奶 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、牛奶、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、尿布、牛奶 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、尿布、牛奶、盐 10 茶叶、鸡蛋、小甜饼、尿布、牛奶,顾客 一次购买商品 1 面包、黄油、尿布、牛奶 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、牛奶、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、尿布、牛奶 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、尿布、牛奶、盐 10 茶叶、鸡蛋、小甜饼、尿布、牛奶,概念（Concept） 分类（Features） 流程（Technological process）,03,我们可以做些什么？,大数据时代的核心价值数据分析,什么是数据分析,数据分析有哪些类型,数据分析,对比分析法,平均分析法,交叉分析法,初级数据分析,高级数据分析,相关分析,因子分析,回归分析,数据分析的一般环节,04,关于数据分析的分享与交流,理论模型 统计方法 可视化,数据分析方法论,4P（product price place promotion）,5W2H,KANO模型,对顾客的不同需求进行分区处理，帮助 团队识别对产品来说较为关键的客户需求层次，尽快完成规划。,兴奋型需求,期望型需求,基本型需求,数据分析统计方法,聚类分析,01,回归分析,02,时间序列分析,03,因子分析 和主成分分析,04,数据分析软件 MATLAB SAS Spss Stata Eviews Excel,可视化方法,ECHARTS,EASELY,PPT,附： 1、ECHARTS /echarts2/doc/example.html 2、EASELY https:/www.easel.ly/home,THE END,用户行为理论,用户行为理论的用途较单一，就是用于用户行为研究分析 用户使用行为：认知-熟悉-试用-使用-忠诚 利用用户行为理论，梳理网站分析的各关键指标之间的逻辑关系，构建符合公司实际业务的网站分析指标体系：,ADD YOUR TITLE HERE,TEXT HERE,TEXT HERE,TEXT HERE,TEXT HERE,TEXT HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,数据分析统计方法,01,02,04,03,聚类分析,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,数据分析统计方法 聚类分析 回归分析 因子分析和主成分分析 时间序列分析,数据分析软件 MATLAB SAS Spss Stata Eviews Excel,1. 绩效指标必须是具体的（Specific） 2. 绩效指标必须是可以衡量的（Measurable） 3. 绩效指标必须是可以达到的（Attainable） 4. 绩效指标是要与其他目标具有一定的相关性(Relevant) 5.绩效指标必须具有明确的截止期限（Time-bound） 无论是制定团队的工作目标还是员工的绩效目标都必须符合上述原则，五个原则缺一不可,ADD YOUR TITLE HERE,MAIN IDEA This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,03,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it.,数据资产管理的挑战,数据资产管理的挑战,软件是大数据的引擎,和数据中心（Data Center） 一样，软件是大数据的驱动力. 软件改变世界!,中央政府对大数据的重视程度,零 售 业,制 造 业,信息产业,移动通信,金融证券,数据量大,挖掘潜力大,数据意识强,IT基础好,这些产业在大数据分析应用方面具有如下优势：,数据化让产业绩效大幅提升,电子商务,医疗服务,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it. 01,This is an example text. Go ahead and replace it. 02,This is an example text. Go ahead and replace it. 03,This is an example text. Go ahead and replace it. 04,80%,47%,57%,67%,数据分析的一般环节,数据分析的一般环节,A ADD YOUR TEXE HERE,B ADD YOUR TEXE HERE,C ADD YOUR TEXE HERE,E ADD YOUR TEXE HERE,D ADD YOUR TEXE HERE,在项目投资分析之外，数据分析的价值在企业经营管理上起到更加举足轻重的作用。各种量化的模型、量化分析方法的应用，使数据下面隐藏的规律得以展现，让企业在运营管理上、市场营销上、客户服务体验上，越来越精细化，让企业在激烈的竞争中取胜！,数据分析的营销价值-预测消费行为,数据分析的营销价值-优化营销策略,数据分析的营销价值-消费者描述,数据分析的营销价值-个性化营销,数据分析的营销价值-广告精准投放,通过分析以下几个方面的关联性，为消费者推荐具体的产品和内容： 产品本身的关联性 客户消费习惯的关联性 客户喜好的关联性 客户品牌的关联性 产品价格和价值的关联性 客户习性的一致性等等,01,什么是大数据,数据挖掘,1. 从数据中提取出隐含的过去未知的有价值的潜 在信息 2. 从大量数据或者数据库中提取有用信息的科学,典型事例：购物篮分析 顾客 一次购买商品 1 面包、黄油、尿布、牛奶 2 咖啡、糖、小甜饼、鲑鱼 3 面包、黄油、咖啡、尿布、牛奶、鸡蛋 4 面包、黄油、鲑鱼、鸡 5 鸡蛋、面包、黄油 6 鲑鱼、尿布、牛奶 7 面包、茶叶、糖、鸡蛋 8 咖啡、糖、鸡、鸡蛋 9 面包、尿布、牛奶、盐 10 茶叶、鸡蛋、小甜饼、尿布、牛奶,Social Media,Machine / Sensor,DOC / Media,Web Clickstream,Apps,Call Log,Log,什么是数据？,半结构化/非结构化数据,何为大？数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes,什么是大数据？,数据分析的流程,ADD YOUR TITLE HERE,THE TITLE ADD YOUR TITLE HERE ADD YOUR TITLE HERE ADD YOUR TITLE HERE,THE TITLE ADD YOUR TITLE HERE ADD YOUR TITLE HERE ADD YOUR TITLE HERE,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,02,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE,60% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,80% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,50% ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE,19% This is an example text. Go ahead and replace it.,43% This is an example text. Go ahead and replace it.,25% This is an example text. Go ahead and replace it.,MAIN IDEA This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an example text.,04,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE,This is an example text. Go ahead and replace it.,ADD YOUR TITLE HERE,01,ADD YOUR TITLE HERE This is an example text. Go ahead and replace it. This is an ex