新一代信息技术(张磊)技术 课件 第一章 拥抱大数据时代

第一章拥抱大数据时代✎学习目标1234掌握大数据的来源和基本概念掌握大数据的关键技术了解大数据在行业中的应用了解大数据时代的思维变革1大数据技术概述目录2大数据关键技术3大数据应用4大数据思维变革1CHAPTER章节概要拥抱大数据时代，章节中介绍了大数据的基本概念、关键技术以及大数据行业中的应用和大数据思维变革1.1大数据技术概述大数据基本概念数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，是可识别的、抽象的符号数据和信息是两个不同的概念，信息是较为宏观的概念，它由数据的有序排列组合而成，传达给读者某个概念方法等，而数据则是构成信息的基本单位，离散的数据没有任何实用价值。1.1大数据技术概述大数据基本概念数据也被称为“未来的石油”1.1大数据技术概述大数据基本概念文本图片视频音频数据类型1.1大数据技术概述大数据的来源人类进入信息社会以后，数据以自然方式增长，其产生不以人的意志为转移从1986年开始到今天，全球数据的数量增长了超过100倍，今后的数据量增长速度将更快，我们正生活在一个“数据爆炸”的时代1.1大数据技术概述大数据的来源产生数据的3个发展阶段被动式生成数据主动式生成数据感知生成数据1.1大数据技术概述大数据的来源根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革信息技术转向数据技术1.1大数据技术概述大数据时代的来临图

存储价格随时间变化情况技术瓶颈的突破或缓解存储设备容量不断增加1.1大数据技术概述大数据时代的来临图CPU晶体管数目随时间变化情况CPU处理能力大幅提升

1.1大数据技术概述大数据时代的来临海量数据的产生1.2大数据关键技术大数据采集技术数据采集，又称“数据获取”，是数据分析的入口，也是数据分析过程中相当重要的一个环节，它通过各种技术手段把外部各种数据源产生的数据实时或非实时地采集并加以利用。1.2大数据关键技术大数据采集技术互联网数据日志文件传感器企业业务系统数据数据采集数据源1.2大数据关键技术大数据预处理大数据预处理主要过程：1．数据的分类和预处理2．数据清洗3．数据集成4．数据归约5．数据变换6．数据的离散化处理1.2大数据关键技术大数据的存储和处理数据存储和处理是大数据分析流程中的重要一环。通过数据采集得到的数据，必须进行有效的存储和管理，才能用于高效的处理和分析。数据存储与管理是利用计算机硬件和软件技术对数据进行有效的存储和应用的过程，其目的在于充分有效地发挥数据的作用。1.2大数据关键技术大数据的存储和处理Hadoop是一个能够对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性：

高可靠性

高效性

高可扩展性

高容错性

成本低

运行在Linux平台上

支持多种编程语言1.2大数据关键技术大数据的存储和处理经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包含了多个子项目。除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。1.2大数据关键技术大数据分析数据分析可以分为广义的数据分析和狭义的数据分析，广义的数据分析就包括狭义的数据分析和数据挖掘。广义的数据分析是指用适当的分析方法（来自统计学、机器学习和数据挖掘等领域），对收集来的数据进行分析，提取有用信息和形成结论的过程。狭义的数据分析是指根据分析目的，用适当的统计分析方法及工具，对收集来的数据进行处理与分析，提取有价值的信息，发挥数据的作用。1.2大数据关键技术大数据可视化数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析1.3大数据应用大数据在医疗领域应用在公共卫生领域，流行病管理是一项关乎民众身体健康甚至生命安全的重要工作。某种疾病一旦在公众中爆发，就已经错过了最佳防控期，这往往会造成大量的生命和经济损失。2009年甲型H1N1流感爆发的时候，与习惯性滞后的官方数据相比，谷歌成为了一个更有效、更及时的指示标。公共卫生机构的官员获得了非常有价值的数据信息。惊人的是，Google的方法甚至不需要分发口腔试纸和联系医生—它是建立在大数据的基础之上的。这是当今社会所独有的种新型能力：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。1.3大数据应用大数据在商业领域的应用本节将介绍一个非常传统的制鞋企业—耐克公司，了解它是如何利用大数据让传统公司产生新的活力和生机的。耐克公司作为一家提供传统消费品的企业，早就先知先觉地捕捉与挖掘新时代的消费者行为特征，率先推出Nike+产品，可堪称品牌数字化的典范。1.3大数据应用大数据在安全防控的应用近年来，随着网络技术在安防领域的发展，高清摄像头在安防领域应用的不断升级，以及项目建设规模的不断扩大，安防领域积累了海量视频监控数据，并且每天都在以惊人的速度生成大量的新数据。例如，中国很多城市都在开展平安城市的建设，在城市的各个角落布置摄像头，7×24小时不间断采集各个位置的视频监控数据，数据量之大，超乎想象。除了视频监控数据，安防领域还包括大量其他类型的数据，包括结构化、半结构化和非结构化数据。结构化数据包括报警记录、系统日志记录、运维数据记录、摘要分析结构化描述记录，以及各种相关的信息数据库，如人口信息、地理数据信息、车驾管信息等；半结构化数据包括人脸建模数据、指纹记录等；非结构化数据主要视频录像和图片记录，如监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等。所有这些数据一起构成了安防大数据基础。1.4大数据思维变革在