第6章大数据技术

第6章大数据技术CONTENTS01大数据处理过程02大数据采集与预处理03大数据存储技术目录04大数据计算技术05

数据挖掘与可视化分析6.1大数据处理过程大数据处理过程计算分析数据采集数据管理可视化展现从现实世界中采集信息，并对信息进行计量和记录。对数据进行分类、编码、存储、索引和查询等，是数据从存储到查询检索的核心。从大规模杂乱无章的数据中揭示隐含的内在规律，发掘有用的知识，指导人们进行科学的推断和决策。将数据转换为图形图像，通过提供交互，帮助用户高效地完成数据理解分析。6.2大数据采集与预处理大数据采集概述Part

011大数据采集概述定义数据采集，又称“数据获取”，是通过各种技术手段采集外部各种数据源产生的实时或非实时的数据。相比较传统的数据采集，大数据采集在数据源、数据类型和数据存储方面有很多不同。数据采集Part

022数据采集数据采集互联网数据的采集业务数据的采集日志数据的采集数据预处理Part

033数据预处理数据预处理数据清洗数据转换数据脱敏6.3大数据存储与管理分布式文件系统HDFSPart

011

分布式文件系统HDFS添加标题点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。HDFS即Hadoop分布式文件系统（HadoopDistributedFilesystem），是Hadoop的核心技术之一。1

分布式文件系统HDFS点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。HDFS高可扩展高吞吐率高容错性高可靠性1

分布式文件系统HDFSHDFS的体系架构NoSQL数据库Part

022NoSQL数据库定义NoSQL数据库中NoSQL的含义是不仅仅是SQL（NotonlySQL）。NoSQL数据库是一类区别传统关系数据库的新型数据库系统。其出现和发展的主要动力是传统的关系数据库逐渐无法满足大数据时代对数据管理的新需求。2NoSQL数据库易扩展高性能高灵活性高可用性成本低2NoSQL数据库NoSQL数据库应用数据库表经常变化数据库表字段是复杂数据类型高并发数据库请求海量数据的分布式存储2NoSQL数据库NoSQL数据库类型键值数据库列式数据库文档数据库图数据库6.4大数据计算技术批处理计算Part

011

批处理计算批处理计算是日常数据分析工作中常见的一类数据处理需求。业务处理常见的大数据批处理计算框架有MapReduce和Spark，其中，MapReduce的影响力最大。1

批处理计算添加标题点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。点击输入本栏的具体文字，简明扼要的说明分项内容。MapReduce工作流程流计算Part

022流计算定义流计算通过实时获取来自不同数据源的海量数据，经过实时分析处理，获得有价值的信息。查询分析计算Part

033查询分析计算针对大数据的存储管理和查询分析场景，需要提供实时响应或准实时响应。OLAP（OnlineAnalyticalProcessing，联机分析处理）就是典型的查询分析计算应用场景。图计算Part

044图计算许多大数据都是以大规模图或网络的形式呈现，如社交网络、传染病传播途径、交通事故对路网的影响。例如Twitter、Facebook、微博和微信等，这些关系是需要图计算来完成的。6.5数据挖掘与可视化分析数据挖掘Part

011

数据挖掘定义数据挖掘是指从大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程。可视化分析Part

022可视化分析数据可视化通过简洁直观的点、线、面组成的图形直观地展示这些数据信息，可以帮助人们快速捕获和保存信息。2可视化分析大数据可视化的优点小结了解和理解大数