《数据分析与可视化实践（第三版）》大数据思维与技术

数据思维

学习目标1.理解数据、信息、知识、智慧之间的区别及联系2.了解数据思维的本质3.了解大数据思维的本质4.了解大数据技术

1．2大数据思维与技术1．2．1认识大数据数据量增加数据结构日趋复杂数据来源不断丰富，形成了多源异构的数据形态,其中非结构化数据包括全文文本、图像、声音、影视、超媒体等信息所占比例逐年增大。大数据是指无法在一定时间内用常规软件工具对其内容进行提取、管理和加工处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。TBPBEBZB1．2．1认识大数据2．大数据的特点体量Volume多样性Variety价值密度Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效1．2．1认识大数据3．大数据时代的商业变革商业模式是指一个完整的产品、服务和信息流体系，包括每一个参与者和其在其中起到的作用，以及每一个参与者的潜在利益和相应的收益来源和方式。

传统的商业智能已经应用了数据仓库、线上分析处理、数据挖掘和数据展现技术，对企业自身的数据进行存储、清理、索引和分析，并能够提供包括客户价值评价、客户满意度评价、服务质量评价、营销效果评价、市场需求评估等各种基于简单统计和关联挖掘的报表以实现商业价值。1．2．1认识大数据3．大数据时代的商业变革数据仓库线上分析处理数据挖掘数据展现技术企业自身的数据存储清理索引分析客户价值评价客户满意度评价服务质量评价营销效果评价市场需求评估基于简单统计和关联挖掘的报表传统的商业智能1．2．1认识大数据3．大数据时代的商业变革大数据的商业智能应用体系1．2．1认识大数据大数据的三个时代大数据1.0时代追求从数据到分析，从分析到更多更好的数据，再到更深入分析这样的正向循环。大数据2.0时代强调的是数据的外部性。它是指企业用自身业务产生的数据，这些数据不只是对企业内部有价值，还可以去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。大数据3.0时代将带领人们进入真正的大数据时代。个人、团队和企业可以通过数据API接口或付费使用数据产品，数据中心、运营商，大家共同分享数据产品的利益。1．2．1认识大数据4．大数据时代的科学变革大数据的价值网页数据检索世界上最新最全的信息方位数据借助GPS快速到达目的地生物特征数据进行身份识别认证情绪数据根据快乐与否判断股市的涨跌1．2．1认识大数据4．大数据时代的科学变革大数据带来了很多新的重要的科学问题，如预测任务、描述任务，其中最重要的是预测。预测问题主要可以分为两类，一是趋势预测，二是缺失信息预测。趋势预测是指通过事物的一些基本属性信息和早期的态势分析，预测事物发展的潜在趋势和最终影响力假设观察到的信息只是全部真实信息的一部分，缺失信息预测就是探讨如何利用当前信息去预测未观察到的信息数据科学是利用计算机的运算能力对数据进行处理，从数据中提取信息，进而形成“知识”数据科学1．2．1认识大数据5．大数据的战略地位大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机作为动力机的第一次工业革命和以电力的广泛应用为主要标志的第二次工业革命相媲美。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力；对数据的拥有、占有、运用和控制将成为综合国力的重要组成部分，大数据领域的竞争，事关国家、企业的安全和未来，将成为国家间和企业间新的争夺焦点。大数据的作用1．2．1认识大数据5．大数据的战略地位大数据的国家战略2012年3月29日，美国政府宣布“大数据研究和发展计划”2012年5月，我国召开第一个以大数据为主题的重大科学工作会议。2012年12月13日，“中关村大数据日”活动会2013年3月5日～7日，举办主题为“大数据技术与应用中的挑战性科学问题”的论坛2013年5月16日，国家发改委高技术服务业研发与产业化专项“基础研究大数据服务平台应用示范”项目启动2013年是大数据应用之年2014年3月，大数据首次写入中国中央政府工作报告2015年10月，党的十八届五中全会正式提出“实施国家大数据战略，推进数据资源开放共享”2018年5月，中国国际大数据产业博览会1．2．2大数据思维的特点更好由因果思维到关联思维更多由样本思维到全量思维更杂由精准思维到模糊思维更智由自然思维到智能思维1．2．3大数据技术技术描述具体技术例举数据收集数据收集是从不同的数据源实时的或及时的收集不同类型的数据设备数据收集Splunk、Sqoop、Flume、Logstash、KettleWeb数据爬取Heritrix、Nutch数据预处理对数据的组织、表达形式、位置等进行前置处理数据清理、数据集成、数据归约与数据转换数据存储分布式存储与访问是大数据存储的关键技术，它具有经济、高效、容错好等特点分布式文件系统HDFS、GFS、KFS文档存储MongoDB、CouchDB、Terrastore、RavenDB列式存储SybaseIQ、Infobright键值存储Redis、ApacheCassandra图形数据库GooglePregel、Neo4j关系数据库分布式集群、列式存储内存存储OracleTimesTen1．2．3大数据技术技术描述具体技术例举数据处理分布式数据处理技术一方面与分布式存储形式直接相关，另一方面也与业务数据的温度类型（冷数据、热数据）相关MapReduce分布式计算框架MapReduce分布式内存计算系统Spark分布式流计算系统IBMStreamBase数据分析大数据分析技术包括对已有数据信息的分布式统计分析技术，以及对未知数据信息的分布式挖掘和深度学习技术聚类高维聚类分析、分类属性数据聚类分类决策树、神经网络、SVM关联分析Apriori、FP-growth深度学习CNNs、DBNs1．2．3大数据技术技术描述具体技术描述数据可视化数据可视化运用计算机图形学和图像处理技术，将数据换为图形或图像在屏幕上显示出来，并进行交互处理。数据信息的符号表达技术各数据类型具体的符号表达技术形式包括各类报表、仪表盘、坐标曲线、地图、谱图、图像帧等数据渲染技术各类符号到屏幕图形阵列的2D平面渲染技术、3D立体渲染技术等。渲染关键技术还和具体媒介相关数据交互技术除了各类PC设备和移动终端上的鼠标、键盘与屏幕的交互技术形式，可能还包括语音、指纹等交互技术。数据表达模型技术数据可视化表达模型描述了数据展示给用户所需要的语言文字和图形图像等符号信息，以及符