《大数据离线分析技术》课件-1.大数据生态系统的组成

大数据生态系统的组成大数据离线分析教学目标了解大数据生态系统的基本组成理解HDFS和HBase的作用了解MapReduce和Spark掌握Kafka和Flume掌握Hive和Pig查询分析工具了解资源管理组件YARN和Mesos1.大数据生态概述大数据生态系统源于Hadoop框架，但已演变为一个开放、模块化的平台，涵盖从数据采集到可视化的全流程。它处理“4V”特性：Volume（海量）、Velocity（高速）、Variety（多样）和Value（价值）。核心理念是分布式计算，避免单点故障，通过集群实现高可用性。生态系统更注重可持续性和安全性，融入零信任模型和绿色计算。典型架构包括底层存储层（如HDFS）、计算层（如Spark）和上层应用（如Hive查询）。2.核心存储组件核心存储组件是大数据生态的基础，确保数据可靠性和可扩展性HDFS（HadoopDistributedFileSystem）是一个分布式文件系统，设计用于存储海量非结构化数据。它适合批量读写，但不擅长随机访问HBase则是一个NoSQL数据库，构建在HDFS之上，提供列式存储和实时读写。3.处理框架(MapReduce,Spark)处理框架负责大数据的计算和转换。MapReduce是Hadoop的经典批处理模型，通过Map（映射）阶段并行处理数据，然后Reduce（归约）汇总结果，ApacheSpark则是一个更现代的框架，支持内存计算（RDD弹性分布式数据集），速度比MapReduce快100倍以上，还提供流处理（SparkStreaming）和机器学习库（MLlib）4.数据摄取工具(Kafka,Flume)数据摄取工具确保数据从源头高效流入生态系统。ApacheKafka是一个分布式流平台，采用发布-订阅模型，支持高吞吐量和低延迟的实时数据管道，可处理每秒数百万消息，内置分区和复制机制，适用于日志收集或事件驱动架构，如电商订单流。Flume则专注于日志聚合，基于代理（Agent）架构，从各种源（如Web服务器）收集数据并沉入HDFS或HBase，支持自定义通道和插件5.查询与分析(Hive,Pig)查询与分析工具简化大数据的访问和处理ApacheHive提供SQL-like查询语言（HiveQL），将SQL转换为MapReduce或Spark任务，适合数据仓库场景。Pig则使用PigLatin脚本语言，专注于数据流处理，擅长复杂转换和聚合6.资源管理(YARN,Mesos)资源管理组件协调集群资源分配，确保多租户和高效利用。YARN（YetAnotherResourceNegotiator）是Hadoop的资源管理器，采用主从架构，支持动态分配CPU、内存给不同应用。ApacheMesos是一个更通用的集群管理器，支持多种框架（如Hadoop、Kubernetes），通过两级调度实现资源抽象，适合异构环境。小结1.大数据生态系统是一个开放、模块化的平台，处理海量、高速、多样和有价值的数据2.核心存储组件包括HDFS和HBase。3.处理框架如MapReduce和Spark提供数据计