《大数据采集与处理》读书笔记思维导图

思维导图PPT模板《大数据采集与处理》最新版读书笔记，下载可以直接修改大数据习题参考文献处理大数据采集实战技术数据相关案例行业大数据预处理应用电商原理背景工作流程内容本书关键字分析思维导图01内容简介第2章开源Hadoop第4章日志采集第1章大数据基础第3章大数据采集第5章大数据预处理目录030502040607第6章大数据存储第8章Hive数据仓库第7章MapReduce第9章流计算目录0908010011第10章Pregel图计算第12章行业大数据采集与处理第11章大数据安全技术及应用目录013012内容摘要本书是一本专门论述大数据采集与处理相关技术及应用的著作，也是一线研发工程师的实战经验结晶。本书依次介绍了大数据采集、大数据预处理、大数据存储与计算、大数据安全等相关内容，并结合大数据应用各行业背景，介绍了电商、煤炭、教育、医疗、电信、交通等行业的大数据采集与处理。最后，本书以某电商网站数据分析为背景，介绍一个完整的数据采集、清洗、处理的离线数据分析案例，以期给读者展示一个系统的实践操作过程。与本书所述技术相关的论著较少，所著内容新颖、系统全面、实践指导性强。内容简介第1章大数据基础1.1大数据概念及特征1.2大数据采集与处理基本流程1.3大数据分析1.4大数据应用习题参考文献010302040506第1章大数据基础第2章开源Hadoop2.1Hadoop概述2.2Hadoop生态系统2.3Hadoop的安装与使用习题参考文献12345第2章开源Hadoop第3章大数据采集3.1数据采集与大数据采集3.2大数据采集方法3.3常用采集工具及平台3.4网络爬虫第3章大数据采集3.5实战参考文献习题第3章大数据采集第4章日志采集4.1日志采集概述4.2Scribe4.3Chukwa4.4Kafka第4章日志采集4.5Flume4.6实战习题参考文献第4章日志采集第5章大数据预处理5.1为什么要进行数据预处理5.2大数据预处理总体架构5.3大数据预处理方法5.4ETL工具Kettle第5章大数据预处理5.5实战参考文献习题第5章大数据预处理第6章大数据存储6.1大数据存储概述6.2HDFS6.3NoSQL6.4ElasticSearch第6章大数据存储6.5实战参考文献习题第6章大数据存储第7章MapReduce7.1概述7.2MapReduce计算框架7.3MapReduce工作流程及原理7.4深入Shuffle过程第7章MapReduce7.5实战参考文献习题第7章MapReduce第8章Hive数据仓库8.1数据仓库简介8.2Hive8.3Impala8.4SparkSQL第8章Hive数据仓库8.5案例参考文献习题第8章Hive数据仓库第9章流计算9.1流计算简介9.2SparkStreaming9.3Storm9.4Flink第9章流计算9.5案例参考文献习题第9章流计算第10章Pregel图计算10.1Pregel图计算简介10.2Pregel图计算模型10.3Pregel工作原理10.4Pregel体系结构第10章Pregel图计算10.5Pregel应用实例10.6Hama习题参考文献第10章Pregel图计算第11章大数据安全技术及应用11.1大数据安全概述11.2大数据安全威胁形式11.3大数据安全关键路径11.4大数据安全管理及应用第11章大数据安全技术及应用11.5大数据安全案例分析参考文献习题第11章大数据安全技术及应用第12章行业大数据采集与处理12.1电商大数据采集与处理12.2煤炭大数据采集与处理12.3教育大数据采集与处理12.4