第1章大数据概述9.2

1、提要1.1 大数据技术概述1.2大数据技术构架1.3大数据的整体技术和关键技术1.4大数据分析的五种典型工具简介1.5大数据未来发展趋势 主讲教师：徐东雨http:/ 本章要点http:/ 1、大、大数据的基本数据的基本概念概念大数据(Big Data)，顾名思义就是数量极其庞大的数据资料。通俗地讲大数据就是貌似毫无意义，但存在着的数据，其中包括结构化，半结构化和非结构化的所有数据。经过处理后的大数据就是大数据信息。1ZB=1024EB=1024PB=1024TB=1024GB1ZB=1024EB=1024PB=1024TB=1024GB2014 年，每天会有 2.3ZB量的数据产生 (IBM

2、, 2015)。定义定义这是一个什么概念这是一个什么概念？定义：？定义：新一代的技术和架构，具有高效率的的分析，捕捉，发现和分析能力，能够经济地从类型繁杂数据庞大的数据中挖掘出出色的价值。1.1 1.1 大数据技术概述概念大数据技术概述概念http:/ 2、 大数据的数据来源大数据的数据来源1管理信息系统：管理信息系统：企业内部使用的信息系统，如办公自动化、业务管理系统等。主要是通过用户输入和系统的二次加工的方式生成的数据，多为结构化数据。2网络信息系统：网络信息系统：基于网络运行的信息系统是大数据产生的重要方式。如电子商务系统、社交网络、社会媒体等。这类系统多为半结构化或无结构化数据，与前者

3、的区别在于，内部使用不接入外部公共网络。3物联网络系统：物联网络系统：通过传感器获取外界的物理、化学、生物等数据信息4科学实验系统：科学实验系统：主要用于学术科学研究，其环境是预先设定的，数据既可以是由真实实验产生，也可以通过模拟方式获取仿真的。http:/ 3、 生产数据的三个阶段生产数据的三个阶段被动式生成数据：被动式生成数据：采用数据库技术阶段数据的产生是被动的，数据时随着业务系统的运行产生的。主动式生成数据：主动式生成数据：Web2.0、移动互联网的发展使人们可以随时随地通过移动终端生成数据，人们开始主动地生成数据。感知式生成数据：感知式生成数据：感知技术的发展促进了数据生成方式发生了

4、根本性的变化，如遍布城市各个角落的摄像头等数据采集设备源源不断地自动采集、生成数据。123http:/ 4、 大数据的特点大数据的特点传统传统方式大数数据时时代数数据产产生方式被动采集数据主动生成数据数数据采集密度采样密度较低，采样数据有限利用大数据平台，可对需要分析的事件的数据进行密集采样，精确获取事件全局数据。数数据源数据源获取较为孤立，不同数据源之间的数据整合难度较大。利用大数据技术，通过分布式技术、分布式文件系统、分布式数据库等技术对多个数据源获取的数据进行整合处理。数数据处处理方式大多采用离线处理方式，对生成的数据集中分析处理，不对实时产生的数据进行分析。较大的数据源、响应时间要求低

5、的应用可以采取批处理方式集中计算；对于对于响应时间要求高的实时数据处理采用流处理的方式进行实时计算，并通过对历史数据的分析进行预测分析。http:/ 5、大数据大数据的特性的特性( (四四V V一一O)O)大数据来源多样化；具体表现为网络日志、音频、视频、图片、地理位置信息等。首要特征。指大数据的数据量大，包括包括采集。存储和计算的量非常大。速度快，时效高;比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法要求实时完成推荐数据价值密度低；随着互联网和物联网的应用，信息感知无处不在,但价值密度较低。数据是在线的，必须随时能调用和计算，这是大数据区别于传统数据的最大特征http:/ 6

6、、大数据时代的数据格式特性大数据时代的数据格式特性传统的关系型数据库、可用二维表结构表示。类似XML、HTML之类，自描述，数据结构和内容混杂在一起。各种文档、图片、视频/音频等。http:/ 6、大数据时代的数据格式特性大数据时代的数据格式特性可以在关系数据库中找到是 联机事务处理系统（OLTP On-Line Transaction Processing)所依赖的信息可对结构数据库信息进行排序和查询http:/ 6、大数据时代的数据格式特性大数据时代的数据格式特性它是结构化的数据，但是结构变化很大。如电子邮件，文字处理文件以及大量保存和发布在网络上的信息。以内容为基础，可以用于搜索。因为要

7、了解数据细节，所以不能将数据简单的组织成一个文件。另外按照非结构化数据处理，由于结构变化很大也不能够简单的建立一个表和他对应。http:/ 6、大数据时代的数据格式特性大数据时代的数据格式特性该信息在本质形式上主要是位映射数据数据必须处于一种可感知的形式中（诸如可在音频、视频和多媒体文件中被听或被看）其庞大规模和复杂性需要高级分析工具来创建或利用一种易于人们感知和交互的结构二进制大对象http:/ 7、大数据的应用领域大数据的应用领域http:/ 8、主要的大数据处理系统、主要的大数据处理系统1.1.数据查询分析计算系统：数据查询分析计算系统：需要具备对大规模数据进行实时或准实时查询的能力。数

8、据规模远超出传统关系型数据库的承载和处理能力。2.2.批处理系统：批处理系统：MapReduce是被广泛应用的批处理计算模式具有简单的数据关系；易于划分将数据处理分为Map和Reduce两个简单抽象操作，并提供一个统一的并行计算框架。是目前大数据处理最主流的平台。3.3.流式计算系统：流式计算系统：主要用于不断产生的数据实时进行处理。4.4.迭代计算系统：迭代计算系统：针对MapReduce不支持迭代计算的缺陷而推出计算模式。5.5.图计算系统：图计算系统：用于社交网络、网络连接等包含具有复杂关系的图数据。6.6.内存计算系统：内存计算系统：常用的有分布式内存计算系统、全内存式分布式数据库系统

9、、可扩展的交互式查询系统。http:/ 9、 大数据处理的基本流程大数据处理的基本流程大数据处理流程可以定义为，在适合工具的辅助下对于广泛异构的数据源进行抽取和集成，结果按照一定的标准统一存储，利用合适的数据分析技术对存储的数据进行分析，从中提取有益的知识并利用恰当的方式将结果展示给终端用户。数据抽取数据集成机器学习数据挖掘数据统计可视化人机交互科研人员政府用户企业用户结构化数据（RDBMS）半结构化数据（HTML）非结构化数据（文档数据）源数据数据清洗数据分析数据解释用户大数据处理的基本流程大数据处理的基本流程http:/ 9、 大数据处理的基本流程大数据处理的基本流程数据抽取与集成：从中提

10、取出关系和实体，经过关联和聚合等操作，按照统一定义的格式对数据进行存储。数据分析：通过数据抽取和集成环节已从异构的数据源中获取了用于大数据处理的原始数据，根据需求对这些数据进行分析处理。如挖掘、机器学习、数据统计等，可用于决策支持、商业智能、推荐系统等。 数据解释：数据处理结果只有通过合适的展示方式才能被用户正确理解，可视化和人机交互是数据解释主要技术第一步第一步核心步骤核心步骤结结 果果http:/ (1) HadoopHadoop 传统数据库对非结构化数据的特征提取（指纹、图像、语音自动识别、基因数据比对等），以及半结构化数据的内容检索（搜索）、理解（语义分析）等的需求和应用无论在技术上还

11、是功能上都束手无策。这样其实就给类似Hadoop的技术和平台提供了很好的发展机会和空间。Hadoop被看成大数据分析的神器，其作为大数据平台的标准，主要有以下几个优点：1111、几个典型大数据技术应用平台简介、几个典型大数据技术应用平台简介大数据技术应用软件必需具备对大数据技术应用软件必需具备对大量数据进行大量数据进行分布式处理和数据分析的能力分布式处理和数据分析的能力http:/ )阅读阅读HadoopHadoop源代码源代码Hadoop 是基于linux开发的,采用JAVA作为主要开发语言,对其他平台的支持不够友好。如对WINDOWS仅可作为开发环境，不可作为生产环境。分布式文件系统分布式

12、文件系统（HDFSHDFS）实现和分布式计算实现和分布式计算框架框架（MapReduce）Hadoop构建在HDFS之上，对其数据进行分布式计算用于搜索领域，由两部分组成：编程模型和运行环境底层的分布式文件系统是独立模块用户按照约定的一套接口实现自己的分布式文件系统主要用于大数据的分布存储具有高度容错性，适合部署在廉价机器上提供高吞吐量的数据访问，适合大规模数据集应用采用 master/slave架构HDFS（Hadoop Distributed File System)架构也采用 master/slave架构经过简单的配置后，存储在该文件系统上的数据便可被处理Hadoop是一个基础平台，存储

13、有HDFS、资源调度有YARN、计算引擎有内置的MapReduce（跑在YARN上），Hadoop的HDFS、YARN是大数据系统的底层组件。http:/ )，目的在于保证美国在先进信息技术开发方面的领先地位。(2(2) )HPCCHPCC：High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目。该项目主要由五部分组成：http:/ (3 (3) ) StormStorm：一种开源软件，一个分布式的、容错的实时计算系统，可以非常可靠的处理庞大的数据流，用于处

14、理Hadoop的批量数据。Storm有许多应用领域：实时分析实时分析在线在线机器学习机器学习不停顿的计算不停顿的计算分布式分布式RPCRPC(Remote Procedure Call,远程过程调用远程过程调用)http:/ 1.2 大数据技术构架大数据技术构架大大数数据据的的四四层层堆堆栈栈式式技技术术架架构构http:/ 1.3 大数据整体技术和关键技术大数据整体技术和关键技术1 1整体技术整体技术一般一般包括：数据采集、数据存取、基础架构、数据处理、包括：数据采集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等。统计分析、数据挖掘、模型预测和结果呈现等。2.2.大

15、数据关键技术大数据关键技术一般一般包括：大数据采集、大数据预处理、大数据存储及管包括：大数据采集、大数据预处理、大数据存储及管理、开发大数据安全大数据分析及挖掘、大数据展现和应理、开发大数据安全大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安用（大数据检索、大数据可视化、大数据应用、大数据安全等）。全等）。http:/ 1.4 大大数数据分析的五种典型工具简介据分析的五种典型工具简介1 1HadoopHadoopHadoopHadoop是一个能够对大量数据进行分布式处理的软件框架，是是一个能够对大量数据进行分布式处理的软件框架，是一个能够让用户轻松架构和使用的

16、分布式计算平台。用户可以一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在轻松地在HadoopHadoop上开发和运行处理海量数据的应用程序上开发和运行处理海量数据的应用程序。2HPCCHPCCHPCCHPCC（高性能计算与通信）是美国实施信息高速公路而实施的（高性能计算与通信）是美国实施信息高速公路而实施的计划，该计划的实施将耗资百亿美元，其主要目标是开发可扩计划，该计划的实施将耗资百亿美元，其主要目标是开发可扩展的计算系统及相关软件，以支持太位级网络传输性能；开发展的计算系统及相关软件，以支持太位级网络传输性能；开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。千兆比特网

17、络技术，扩展研究和教育机构及网络连接能力。http:/ 1.4 大大数数据分析的五种典型工具简介据分析的五种典型工具简介3 3StormStormStormStorm是一种开源软件，一个分布式、容错的实时计算系统。是一种开源软件，一个分布式、容错的实时计算系统。StStormorm可以非常可靠的处理庞大的数据流，用于处理可以非常可靠的处理庞大的数据流，用于处理HadoopHadoop的批量的批量数据。数据。StormStorm很简单，支持许多种很简单，支持许多种编程语言。编程语言。4 4Apache DrillApache Drill为了帮助企业用户寻找更为有效、加快为了帮助企业用户寻找更为有

18、效、加快HadoopHadoop数据查询的方法，数据查询的方法，ApacheApache软件基金会发起了一项名为软件基金会发起了一项名为DrillDrill的开源项目。的开源项目。Apache DApache Drillrill实现了实现了Googles Googles DremelDremel。5RapidMinerRapidMinerRapidMinerRapidMiner是世界领先的数据挖掘解决方案，其数据挖掘任务是世界领先的数据挖掘解决方案，其数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。计和评价。ht

19、tp:/ 1.5 大大数据未来发展趋势数据未来发展趋势1 1 数据资源化数据资源化资源化是指大数据成为企业和社会关注的重要战略资源，并已成为大家争抢的新焦点，数据将逐渐成为最有价值的资产。2 2 数据科学和数据联盟的成立数据科学和数据联盟的成立 大数据将催生一些新的学科和行业,成为一门专门的学科，越来越多的高校开设了与大数据相关的学科课程，为市场和企业培养人才。 大数据联盟是由厦门艾普凯尔信息科技有限公司发起的联合各方资源、促进多方合作，并由中国互联网协会反垃圾信息中心等作为支持单位的组织，成立开始，逐步吸收全国各地的大型企业单位加入，强效联合各企业资源，最终形成强大的“数据共享联盟”。http:/ 1.5 大大数据未来发展趋势数据未来发展趋势3 3大大数据隐私和安全数据隐私和安全问题问题 大数据引发个人隐私、企业和国家安