《云计算与大数据概论》课件第4章大数据技术

目标掌握大数据应用系统架构了解常用数据挖掘算法了解常用可视化工具掌握Google提供的大数据服务了解微软、IBM等提供的大数据服务掌握目前主要开源大数据平台大数据应用系统架构大数据的产生、组织和处理主要是通过分布式文件处理系统实现的，目前的主流技术为Hadoop+MapReduce。Apache大数据应用平台的总体架构由以下几部分组成：Servers：该层是系统的物理服务器，是整个系统的基础。OperatingSystem和Hypervisor：物理服务器之上的虚拟机或操作系统。StorageFramework：数据存储层。在Apache模型中，数据存放于HDFS。ProcessingFramework：数据处理层。Apache采用MapReduce处理模型。Network：分布式大数据系统，由多台服务器通过网络组成。AccessFramework：访问层，负责统计分析已经存储的数据，使用Pig、Hive、Sqoop工具对数据进行处理和访问大数据应用系统架构Pig：一个基于Hadoop的大规模数据分析工具，提供类SQL的查询语言PigLatin，该语言的编译器会把SQL格式的数据分析请求转换为一系列经过优化的MapReduce运算。Hive：建立在Hadoop上的数据仓库基础构架，提供了一系列的工具，实现了对存储在Hadoop中的大规模数据的存储、查询和分析操作。Sqoop：一个将Hadoop和关系型数据库中的数据相互转移的工具，可以将关系型数据库中的数据导入Hadoop的HDFS中，也可以将HDFS中的数据导入关系型数据库中。HBase：Hadoop在HDFS基础上建立的一个类BigTable的开源分布式数据库，具有高可靠性、高性能、面向列、可伸缩、可在廉价PC服务器上搭建大规模结构化存储集群等特点。Avro：一个基于二进制数据高性能传输的中间件，也是一个数据序列化系统，可以将数据结构或对象转化为便于存储或传输的格式。大数据应用系统架构Flume：一个对海量日志进行采集、聚合和传输的分布式系统，具备高可用性和高可靠性。Flume支持在日志系统中定制各类数据发送方用于数据收集，同时还拥有对数据进行简单处理，并写到各种数据接受方（可定制）的能力。ZooKeeper：一个针对大型分布式系统的可靠协调系统，其功能包括配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标是封装好复杂且易出错的关键服务，将简单易用的接口与性能高效、功能稳定的系统提供给用户。大数据关键技术大数据技术就是从各种类型的数据中快速获得有价值信息的技术。大数据领域的关键技术包括：大数据收集、大数据预处理、大数据存储、大数据处理、大数据挖掘、大数据分析与可视化、大数据安全等。大数据关键技术1.数据收集技术目前，数据收集一般可分为设备数据收集和Web数据爬取两类，常用的数据收集软件有Splunk、Sqoop、Flume以及各种网络爬虫，如Heritrix、Nutch等。大数据关键技术2.数据预处理技术数据预处理的引入能够提升数据质量，并使后续的数据处理、分析、可视化过程更加容易、有效，有助于获得更好的用户体验。在形式上，数据预处理包括数据清理、数据集成、数据归约和数据转换等阶段。数据清理技术包括数据不一致性检测技术、脏数据识别技术、数据过滤技术、数据修正技术、数据噪声的识别与平滑技术等。数据集成把来自多个数据源的数据进行集成，缩短数据之间的物理距离，形成一个集中统一的（同构/异构）数据库、数据立方体、数据宽表或文件。数据归约技术可以在不损害挖掘结果准确性的前提下，降低数据集的规模，得到简化的数据集。数据的归约策略包括维归约技术、数值归约技术、数据抽样技术等。数据转换处理技术包括基于规则或元数据的转换技术、基于模型和学习的转换技术等。经过数据转换处理的数据被变换或者统一，简化了处理与分析过程，提升了时效性，也使得数据分析与挖掘的模式更容易被理解。大数据关键技术2.数据存储技术分布式存储与访问是大数据存储的关键技术，它具有经济、高效、容错性好等特点。分布式文件系统是由多个网络节点组成的、向上层应用提供统一文件服务的文件系统。分布式文件系统中的节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输。目前，常用的分布式磁盘文件系统有HDFS（Hadoop分布式文件系统）、GFS（Google分布式文件系统）、KFS（KosmosDistributedFileSystem）等；常用的分布式内存文件系统有Tachyon（Spark平台的文件系统）等。文档存储支持对结构化数据的访问，文档存储是以键值对的方式进行存储的。文档存储模型支持嵌套结构，例如，文档存储模型支持XML和JSON文档，其字段的值也可以嵌套存储其它文档。目前主流的文档数据库如MongoDB、CouchDB、Terrastore、RavenDB等。列式存储将数据按行排序，按列存储，将相同字段的数据作为一个列族来聚合存储。当查询少数列族数据时，列式数据库可以减少读取数据量，减少数据装载和读入读出的时间，提高数据处理效率。按列存储还可以承载更大的数据量，获得高效的垂直数据压缩能力，降低数据存储开销。使用列式存储的数据库产品有传统的数据库产品，如SybaseIQ、InfiniDB、Vertica等；也有开源的数据库产品，如HadoopHBase、Infobright等。大数据关键技术键值存储，即Key-Value存储，简称KV存储，是NoSQL的一种存储方式，其中的数据按照键/值对的形式进行组织、索引和存储，一般不提供事务处理机制。KV存储比SQL数据库存储拥有更好的读写性能，同时能有效减少读写磁盘的次数，非常适合不涉及过多数据关系和业务关系的数据。主流的键值数据库产品如Redis、ApacheCassandra、GoogleBigTable等。图形数据库主要用于存储事物及事物之间的相互关系，这些事物整体上呈现复杂的网络关系，可以简单的称之为图形数据。图形数据库采用不同的技术，很好地解决了图形数据的查询、遍历、求最短路径等问题。主流的图形数据库如GooglePregel、Neo4j、InfiniteGraph、DEX、InfoGrid和AllegroGraph等。关系数据库模型是最传统的数据存储模型，它由元数据定义表的结构，将记录按行进行存储。关系型数据库的记录存储在表中，表中的每个列都有名称和类型，表中的所有记录都要符合表的定义。内存存储指内存数据库系统，即将数据库的工作内容存放于内存中。内存数据库系统的设计目标是提高数据库的效率和存储空间的利用率，由于数据库的操作都在内存中进行，因此磁盘I/O不再是性能瓶颈。内存数据库的核心是内存存储管理模块，其管理策略的优劣直接关系到内存数据库系统的性能。基于内存存储的数据库产品如OracleTimesTen、Altibase、extremeDB、Redis、Memcached等。大数据关键技术3.数据处理技术目前，主要的数据处理计算模型包括MapReduce计算模型、分布式内存计算系统、分布式流计算系统等。MapReduce是一个高性能的批处理分布式计算框架，可用来对海量数据进行并行分析和处理。与传统数据库技术相比，MapReduce能够处理各种类型的数据，包括结构化、半结构化和非结构化数据，并且可以处理TB和PB级别的超大规模数据。Spark是内存计算技术的开源框架的代表，也是当今大数据领域最热门的分布式内存计算系统。使用分布式共享内存进行计算可有效减少数据读写和移动的开销，极大地提高数据处理的性能。大数据关键技术4.数据挖掘技术数据挖掘（DataMining）就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取潜在有用的信息的过程。数据挖掘的常用方法：分类、关联分析、聚类。大数据关键技术1)

分类法分类技术（或分类法）是一种根据输入数据集建立分类模型的系统方法。首先，把数据分成训练集（TrainingSet）和测试集（TestingSet）；然后，通过对历史训练集的训练，生成一个或多个分类器（Classifier），将这些分类器应用到测试集中，就可以对分类器的性能和准确性做出评判，如果效果不佳，就重新选择训练集，或者调整训练模式，直到分类器的性能和准确性达到要求为止；最后，将选出的分类器应用到未经分类的新数据中，就可以对新数据的类别做出预测了。大数据关键技术2)关联分析法关联分析常用于发现隐藏在大型数据集中的有意义联系，所发现的联系可以用关联规则（AssociationRule）或频繁项集形式表示。关联分析也可应用于其他领域，如生物信息学、医疗诊断、网页挖掘和科学数据分析等。例如，在地球科学数据分析中，关联模式可以揭示海洋、陆地和大气过程之间的有趣联系，这样的信息能够帮助地球科学家更好地理解地球系统中不同自然力之间的相互作用。大数据关键技术5.大数据分析与可视化技术数据可视化是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化技术的基本思想是：将数据库中的每一个数据项作为单个图元素表示，使得大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，使用户可以从不同的维度观察数据，对数据进行更深入的观察和分析。数据可视化技术的基本概念：数据空间：由n维属性、m个元素共同组成的数据集构成的多维信息空间。数据开发：使用一定的工具及算法，对数据进行定量推演及计算。数据分析：对多维数据进行切片、块、旋转等操作，剖析数据，以从多角度多侧面观察数据。数据可视化：将大型数据集中的数据通过图形图像方式表示，并利用数据分析和开发工具发现其中的未知信息。大数据关键技术数据可视化的标准：为实现信息的有效传达，数据可视化应兼顾美学与功能，直观地传达出关键的特征，以便挖掘数据背后隐藏的价值。数据可视化技术的应用标准包含以下4个方面：直观化：将数据直观、形象地呈现出来。关联化：突出呈现出数据之间的关联性。艺术性：使数据的呈现更具有艺术性，更加符合审美规则。交互性：实现用户与数据的交互，方便用户控制数据。大数据关键技术数据可视化的作用：数据可视化的开发和大部分项目一样，也是根据需求，基于数据维度或属性进行筛选，并根据目的和用户群选用合适的可视化表现方式，同一份数据可以表现为多种看起来截然不同的形式。如果数据可视化的目标是观测、跟踪数据，就要强调实时性、变化和运算能力，最终可能生成一份不停变化、可读性强的图表，例如百度地图显示的北京市实时交通路况信息。大数据关键技术常用的数据分析和可视化工具：最常用的如Excel:可以进行各种数据的处理、统计分析和辅助决策操作。GoogleChartAPI:Google公司提供的制图服务接口，可以统计数据并自动生成图片，该工具使用非常简单，不需要安装任何软件，即可以通过浏览器在线查看统计图表。使用GoogleChartAPI生成的图表如图。大数据关键技术常用的数据分析和可视化工具：D3：最流行的可视化库之一，是一个可用于网页作图以及生成互动图形的JavaScript函数库，提供了一个D3对象，所有方法都通过这个对象调用。D3能够提供多种除线性图和条形图以外的复杂图表样式，如Voronoi图、树形图、圆形集群和单词云等。Echarts：一个纯Javascript的图表库，可以流畅运行在PC和移动设备上，提供直观、生动、可交互、可高度个性化定制的数据可视化图表，具有创新的拖拽重计算、数据视图、值域漫游等特性。HighCharts：用纯JavaScript编写的一个图表库，能够非常便捷地在Web网站或是Web应用程序上添加有交互性的图表，支持的图表类型包括曲线图、区域图、柱状图、饼状图、散状点图和综合图表等。Visual.ly：一款非常流行的信息图制作工具，简洁易用，用户不需要任何设计相关的知识，就可以快速创建样式美观且具有强烈视觉冲击力的自定义信息图表。Tableau：桌面系统上最简单的商业智能工具软件，适合企业进行日常数据报表和数据可视化分析工作。Tableau实现了数据运算与美观图表的完美结合，用户只要将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。大数据关键技术大数据魔镜：一款优秀的国产数据分析软件，只需通过一个直观的拖放界面就可创建交互式的图表和数据挖掘模型，其丰富的数据公式及算法可以帮助用户真正理解所分析的数据。GoogleFusionTables：该工具让一般使用者也能轻松制作出专业的统计地图，可以选择将数据表呈现为图表、图形和地图，从而帮助用户发现一些隐藏在数据背后的模式和趋势。Timetoast：一个在线创作基于时间轴的事件记载服务的网站，提供个性化的时间线服务，可以用不同的时间线来记录用户某个方面的发展历程、心理演变、进度过程等等。Xtimeline：一个免费的绘制时间轴的在线工具网站，操作简便，用户可以添加事件日志的形式构建时间表，同时也可给日志配上相应的图表。大数据关键技术6.大数据安全大数据安全面临的挑战性问题主要体现在以下几个方面：1）大数据中的用户隐私保护问题大量事实表明，大数据未被妥善处理会对用户的隐私造成极大的侵害。根据需要保护的数据内容不同，隐私保护又可进一步细分为位置隐私保护、标识符匿名保护、连接关系匿名保护等。2）大数据的可信性大数据可信性的威胁之一是伪造或刻意制造的数据，而错误的数据往往会导致错误的结论。3）如何实现大数据访问控制大数据访问控制的特点与难点在于：难以预设角色，实现角色划分。大数据应用范围广泛，面对未知的大量数据和用户，预先设置权限和角色十分困难。主流大数据服务

Percolator：一个可以为一个巨大的数据集提供增量更新的系统，该系统在BigTable的基础上加入了对局部更新的支持，弥补了MapReduce无法在计算时处理局部更新的缺陷，被Google用来增量更新其搜索的索引。Pregel：Google研发，用来支持大规模分布式的图分析和计算。Dremel：Google的交互式数据分析系统，可以组建成规模上千的集群，并使用类SQL语言在秒级分析PB级的数据，以作为MapReduce的有力补充。HDInsight：微软在WindowsAzure上运行的云服务，该服务以云方式部署并设置ApacheHadoop群集，从而提供对大数据进行管理、分析和报告的软件框架。InfoSphere：IBM大数据分析平台，包括互补的BigInsights和Streams两部分。Biglnsights可以对大规模的静态数据进行分析，它提供多节点的分布式计算，可以随时增加节点，提升数据处理能力；Streams则采用内存计算方式分析实时数据。除此之外，InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。开源大数据平台

Hadoop是一个由ASF开发的开源分布式系统基础架构，使用了分布式文件系统