Zookeeper从入门到精通教程Zookeeper熟悉和用途综述PPT课件.ppt

从入门到精通Zookeeper 讲师 Cloudy 北风网版权所有 1 Zookeeper熟悉和用途综述 1 Zookeeper用途场景 Zookeeper分布式服务框架是ApacheHadoop的一个子项目 主要是用来解决分布式应用中经常遇到的一些数据管理问题 如 集群管理 统一命名服务 分布式配置管理 分布式消息队列 分布式锁 分布式通知协调等 越来越多的分布式计算开始强依赖ZK 比如Storm HbaseZookeeper对分布式开发带来很多便利 用ZK的独有特性巧妙地解决了很多难题 很多分布式技术用到Zookeeper或多或少特性 尤其是新生代分布式技术几乎都会依赖Zookeeper特性 如Hbase 火爆的Storm 为什么后来深入学习Zookeeper 随着分布式应用的不断深入 需要对集群管理逐步透明化 监控集群和作业状态 可以充分利用ZK的独有特性 熟悉程度决定应用高度 2 课程主要内容 Zookeeper详解 Client开发 Java 场景案例开发 ZK集群Web界面 Web监控Java基础 Linux基础Zookeeper集群规模机器节点100 3 ZKWeb界面 node zk browser Web展示每个path的属性和数据 4 ZK集群监控taokeeper 5 ZK体系结构 Server端具有fastfail特性 非常健壮 无单点 不超过半数Server挂掉不影响提供服务 Master slave主流模式 轻量级内存数据库 6 ZK体系架构 数据模型 节点 类似文件系统的目录树型结构 同HadoopHDFS 节点 NameService Server1唯一路径 Node 且携带数据 7 zookeeper名字空间由节点znode构成 其组织方式类似文件系统 其中各个节点相当于目录和文件 通过路径作为唯一标识 与文件系统不同的是 每个节点具有与之对应的数据内容 同时也可以具有子节点 zookeeper用于存储协调数据 如状态 配置 位置等信息 每个节点存储的数据量很小 KB级别 节点维护一个状态stat结构 包括数据变化的版本号 ACL变化 时间戳 以允许缓存验证与协调更新 每当节点数据内容改变 多一个版本号 类似HBase 客户端获取数据的同时也会获取数据版本号 节点的数据内容以原子方式读写 节点具有一个访问控制列表 AccessControlList ACL 来约束访问操作 即具有权限控制 8 Watches Zookeeper对Node的增 删 改 查都可触发监听watch事件是一次性触发器 当watch监视的数据发生变化时 通知设置了该watch的client 即watcherwatch事件异步发送至观察者watch是一次性触发的并且在获取watch事件和设置新watch事件之间有延迟所以不能可靠的观察到节点的每一次变化客户端监视一个节点 总是先获取watch事件 再发现节点的数据变化watch事件的顺序对应于zookeeper服务所见的数据更新的顺序 9 Storm集群 Zookeeper作为nimbus master 和supervisor slave 的中间枢纽 保存Storm集群和作业的所有信息 并负责nimbus和supervisor的全部通信 Fastfaill HBase集群 Zookeeper作为 协调器 为HBase提供了稳定服务和failover机制 HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中 使得HMaster可以随时感知到各个HRegionServer的健康状态 可用于监控RegionServer 此外 Zookeeper也避免了HMaster的单点问题 应用三大块 Storm应用开发 Storm集群监控MapReduce应用开发HBase应用开发 Zookeeper在Hadoop平台典型应用 10 分布式应用配置管理 发布与订阅即所谓的配置管理 顾名思义就是将数据发布到zk节点上 供订阅者动态获取数据 实现配置信息的集中式管理和动态更新 例如全局的配置信息 地址列表等就非常适合使用 NameService 这个主要是作为分布式命名服务 通过调用zk的createnodeapi 能够很容易创建一个全局唯一的path 这个path就可以作为一个名称 序列化节点 流行的应用场景 11 分布式通知 协调 ZooKeeper中特有watcher注册与异步通知机制 能够很好的实现分布式环境下不同系统之间的通知与协调 实现对数据变更的实时处理 使用方法通常是不同系统都对ZK上同一个znode进行watch 监听znode的变化 包括znode本身内容及子节点的 其中一个系统update了znode 那么另一个系统能够收到通知 并作出相应处理 分布式锁 分布式锁 这个主要得益于ZooKeeper为我们保证了数据的强一致性 zk集群中任意节点 一个zkserver 上的相同znode的数据是一定是相同的 锁服务可以分为两类 一个是保持独占 另一个是控制时序 12 集群管理 HbaseMaster选举则是zookeepe