《大数据平台部署与应用》-课件 项目3-部署Z Keeper分布式协调服务-知识准备

部署ZooKeeper分布式协调服务-知识准备在部署了Hadoop分布式平台后，小数发现，虽然其能够解决大数据处理问题，但需要与其他组件（如YARN、HBase、Hive等）协同工作。ZooKeeper便是Hadoop生态系统中不可或缺的一部分，它为集群中的各组件提供了分布式协调服务，并确保数据被高效存储和处理。因此，小数还需要部署ZooKeeper，为集群搭建起一个强有力的协调框架。一旦ZooKeeper部署完成，公司将能够轻松地添加和集成Hadoop生态系统中的其他组件，为数据处理和分析提供更加丰富的功能和更高的效率。这项工作不仅是技术上的突破，更是公司大数据战略中至关重要的一环。项目背景明确ZooKeeper的技术定位与核心应用场景。掌握ZooKeeper文件系统的特性与工作逻辑。了解ZooKeeper的基本架构，以及单机模式与集群模式的差异及适用场景。能独立完成Linux操作系统下的ZooKeeper集群部署，并确保集群节点通信正常、角色选举稳定。掌握基于ZooKeeper集群部署HadoopHA模式的关键步骤，会验证Hadoop主节点故障时的自动切换功能。形成“架构理解-配置核查-集群验证-故障定位”的规范操作习惯，能解决ZooKeeper集群部署及HadoopHA集成过程中的常见问题，树立分布式系统高可用设计理念。学习目标项目导图目录1ZooKeeper应用场景ZooKeeper简介2ZooKeeper文件系统3ZooKeeper基本架构4ZooKeeper部署模式5ZooKeeper简介ZooKeeper是一个分布式协调服务，主要用于解决分布式应用中常见的数据管理问题，包括配置管理、域名服务、分布式同步、集群管理等，这些服务都以某种形式被分布式应用程序使用。分布式系统在实施这些服务时，会进行大量处理不可避免的错误和竞争条件的工作。由于实施这些服务的难度较高，因此应用程序通常会忽略对错误和竞争条件的处理，使得服务在发生变化时变得脆弱且难以管理。为了解决这个问题，Apache推出了ZooKeeper这一组件，以对分布式框架间的服务进行协调和管理。目录1ZooKeeper应用场景ZooKeeper简介2ZooKeeper文件系统3ZooKeeper基本架构4ZooKeeper部署模式5作为一个开源的分布式协调服务，ZooKeeper提供了配置维护、命名、同步和组服务等一系列功能，这些功能对构建分布式应用起到了举足轻重的作用。ZooKeeper应用场景分布式服务注册与订阅在分布式环境中，为保障高可用性，通常会部署多个相同的应用或服务，以实现服务的对等性。消费者需要从众多对等服务器中选择一个来执行相关业务逻辑。这种模式是服务注册与订阅的典型应用，其中涉及消费端、生产端的均衡处理。分布式配置中心分布式配置中心基于发布与订阅模型运作，发布者将配置数据发布至ZooKeeper节点，供订阅者获取，以实现配置信息的集中管理和动态更新。ZooKeeper应用场景分布式通知协调ZooKeeper的Watcher注册机制能有效实现分布式环境下的系统通知与协调，进而实现对数据变更的实时处理。一般情况下，多个系统对同一个ZooKeeper节点进行监听，一旦某个系统更新了ZooKeeper节点，其他系统就可以立即收到通知并作出响应。命名服务在分布式系统中，命名服务允许客户端应用通过指定名称来获取资源、服务地址、提供者等信息。被命名的实体通常是服务地址、进程对象等。目录1ZooKeeper应用场景ZooKeeper简介2ZooKeeper文件系统3ZooKeeper基本架构4ZooKeeper部署模式5ZooKeeper提供的命名空间与标准文件系统十分相似，即名称是由“/”分隔的一系列路径元素。ZooKeeper命名空间中的每个节点都由路径标识。数据模型为树形结构，每个节点称为znode，其中既可以创建子节点，也可以存储数据。ZooKeeper文件系统目录1ZooKeeper应用场景ZooKeeper简介2ZooKeeper文件系统3ZooKeeper基本架构4ZooKeeper部署模式5ZooKeeper的各服务节点组成一个集群，集群规模为2n+1个节点，这样的配置允许最多n个节点失效。在这里，n指的是集群中允许失效的最大节点数量。在ZooKeeper集群中，有Leader和Follower两种角色，Leader负责提供写服务和数据同步，Follower负责提供读服务。ZooKeeper基本架构1.基本架构ZooKeeper基本架构2.ZooKeeper客户端与服务端关系客户端与服务端的关系：客户端可以连接到每个服务端，每个服务端的数据完全相同。每个Follower都和Leader有连接，接收Leader的数据更新操作。服务端记录事务日志和快照。只要大多数服务端可用，整体服务就可用。ZooKeeper基本架构ZooKeeper的整体构造比较简洁，其分布式协调过程同样简单、高效。ZooKeeper的特点如下。ZooKeeper基本架构3.ZooKeeper特点特性描述可靠性具有健壮、良好的性能，如果消息被一台服务器接收，那么它将被所有的服务器接收。原子性数据转移只能完全成功或完全失败，没有事务是部分的。顺序一致性从同一个客户端发起的事务请求，最终将会严格按照其发起顺序被应用到ZooKeeper中。最终一致性为客户端展示同一个视图。实时性ZooKeeper不能保证两个客户端同时得到最新的数据，如果需要获取最新数据，那么在读取数据前应刷新。独立性各客户端之间互不干预。目录1ZooKeeper应用场景ZooKeeper简介2ZooKeeper文件系统3ZooKeeper基本架构4ZooKeeper部署模式5与Hadoop类似，ZooKeeper拥有单机模式、伪集群模式和集群模式3种部署模式。ZooKeeper部署模式1.单机模式特点说明部署简易性部署较为简单，适合初学者进行学习和开发。运行环境单机环境，无须进行额外的网络配置。容错能力无容错能力，一旦进程停止，整个服务将不可用。数据一致性单一数据源，不存在数据一致性问题。扩展性不支持扩展，仅限单一节点运行。负载能力负载能力低，适用于开发与测试。管理、维护的难度管理简单，无须考虑节点间的协调问题。ZooKeeper部署模式2.伪集群模式特点说明部署简易性部署相对复杂，需要在单台机器上模拟多节点环境。运行环境单机环境，通过配置多个ZooKeeper实例来模拟集群环境。容错能力容错能力有限，物理节点故障会影响整个集群服务。数据一致性通过共享存储来保证数据一致性。扩展性单机模拟环境，不支持真正的动态扩展。负载能力负载能力有限，适用于功能测试。管理、维护的难度管理比较复杂，需要管理一个节点上的多个ZooKeeper实例。ZooKeeper部署模式3.集群模式特点说明部署简易性部署较为复杂，需要在多台机器上部署和配置。运行环境多机环境，需要网络互联，配置文件中需要指定服务器列表。容错能力容错能力极强，单个节点故障不会影响整个集群服务。数据一致性通过选举机制和同步机制来保证数据一致性。扩展性支持动态扩展，可通过增减节点来应对不同的负载需求。负载能力负载能力高，适用于大规模分布式系统。管理、维护的难度管理十分复杂，需要维护和监控集群中多个节点的状态。ZooKeeper是一个用于分布式系统协调的开源框架，广泛应用于配置管理、命名服务、分布式同步等场景。它通过树形结构的文件系统组织数据，支持多种部署模式，包括单机模式、伪集群模式和集群模式。单机模式适合