3.4 大数据采集类型

XXXXXXXX.XX主讲人：时间：第3章数据采集BYYUSHENBYYUSHEN大数据采集技术发展趋势01.大数据采集概述02.大数据采集方法03.大数据采集类型04.常见采集问题及注意事项05.CONTENTS目录04大数据采集类型生态系统中角色重要在大数据生态系统中扮演重要角色，作为数据集成与处理管道、流数据平台，为分布式系统提供可靠通信，实现数据的灵活解耦。Kafka的特性介绍Kafka是分布式、分区的、多副本的、多订阅者，基于Zookeeper的分布式日志系统，支持高吞吐量、消息持久化、离线和实时数据处理等。Kafka的应用场景Kafka适用于消息传递、实时数据处理、事件驱动架构、日志聚合、数据集成、流处理、可靠数据传输、网站活动跟踪、持久性日志存储等场景。分布式消息系统Kafka点对点传递模式在发布-订阅消息系统中，消息持久化到一个topic中，消费者可订阅一个或多个topic，同一条数据可被多个消费者消费且不立即删除。发布-订阅模式Kafka架构支持消息持久化，消费端主动拉取数据，消费状态和订阅关系由客户端负责维护，消息消费完后会保留历史消息，主要组件包括topic、partition等。在点对点消息系统中，消息持久化到一个队列中，但一条消息只能被消费一次，由一个消费者接收并处理，保证数据处理的顺序。分布式消息系统KafkaZooKeeper是分布式应用程序协调服务，管理Kafka集群，存储meta数据，负责broker故障发现，partitionleader选举，负载均衡等。ZooKeeper的作用Kafka2.8.0起提供无Zookeeper配置运行模式，未来计划摒弃Zookeeper依赖，通过内部协调机制管理集群。但当前许多安装仍需Zookeeper。Kafka运行模式分布式消息系统KafkaFlume是分布式日志收集系统，基于Event、Source、Channel、Sink和Agent等组件，支持高吞吐量日志数据收集，提供可靠性和容错性。工作机制Flume支持在分布式环境中横向扩展，通过增加更多Agents来增加处理能力，Agent间点对点连接，创建复杂数据流路径，满足多层次数据收集需求。扩展性Flume支持高吞吐量和高容错性，通过MemoryChannel和FileChannel确保数据不丢失，提供多种机制来应对Sink处理失败或进程崩溃的情况。数据流转ApacheFlume高效处理海量日志数据，可插拔Source、Channel和Sink组件，支持定制不同数据收集和分发场景，确保数据可靠传输，成为企业数据管道的关键组成部分。总结01020304日志采集系统FlumeApacheHTTPServer提供模块化结构、htaccess文件支持、虚拟主机、定制性、高性能和可伸缩性、认证和授权等特性。主要特性托管静态内容、作为反向代理服务器、使用语言处理动态内容；虽在静态内容和并发处理上比不上Nginx，但灵活性和易用性使其成为首选。常见用途采集Apache服务器数据使用场景Tomcat经常被用于开发和测试环境来部署基于Java的Web应用程序，同时在企业环境中也得到了广泛应用，用于托管生产级的Web应用程序。和ApacheHTTPD的关系ApacheHTTPD和Tomcat虽不同，可协同工作来提供更好的性能、安全性和灵活性；Apache作为静态内容服务器，Tomcat处理JavaServlet和JSP页面。主要特性Tomcat作为Web应用服务器，具有轻量级和灵活、作为Servlet和JSP容器、独立服务器、支持JavaEE特性、易于集成、管理和配置工具以及安全等特性。030201采集Tomcat服务器数据植入埋点的主要方式代码埋点精确度高但工作量大；可视化埋点灵活性高但可定制性有限；无埋点省去了手动设置的麻烦但数据量巨大。数据采集过程埋点数据分析方式包括定义事件和指标、实施埋点策略、数据收集与传输、数据存储和分析、反