分布式应用的协调器

ZooKeeper分布式应用的协调器 电子工业出版社刘鹏主编 教材配套课件10 主要内容 ZooKeeper的数据模型ZooKeeper的数据读写机制ZooKeeper的使用方法 为什么需要ZooKeeper 大部分分布式应用需要一个主控 协调器或控制器来管理物理分布的子进程 如资源 任务分配等 目前 大部分应用需要开发私有的协调程序 缺乏一个通用的机制协调程序的反复编写浪费 且难以形成通用 伸缩性好的协调器ZooKeeper 提供通用的分布式锁服务 用以协调分布式应用 如 为HBase提供服务 ZooKeeper的数据模型 层次化目录结构命名符合常规文件系统规范 不能包含 节点Znode可以包含数据与子节点客户端应用可在节点上设置监视器节点数据不支持部分读写 而是一次性完整读写Ephemeral节点 节点创建属性 Ephemeral创建的节点不是持久节点一旦与客户端的会话结束 节点自动删除Sequence创建节点时 编号自动加1例如x 1 x 2 s 3 x 4等 ZooKeeper的读写机制 ZooKeeper是一个由多个Server组成的集群一个Leader 多个Follower每个Server都保存了一份数据副本全局数据一致分布式读写更新请求转发 由Leader实施 使用ZooKeeper的约定 更新请求顺序执行来自同一个Client的更新请求按其发送顺序依次执行数据更新原子性一次数据更新要么成功 要么失败 不存在部分数据写入成功或失败的情况全局唯一数据视图Client无论连接哪个Server 数据视图都是一致的实时性在一定时间范围内 Client能读到最新数据 ZooKeeper的API Stringcreate path data acl flags voiddelete path expectedVersion StatsetData path data expectedVersion data Stat getData path watch Statexists path watch String getChildren path watch voidsync path StatsetACL path acl expectedVersion acl Stat getACL path 包含监视器 调用参数均包含节点路径 对比 Chubby的API handleOpen path Close handle GetContentsAndStat handle GetStat handle ReadDir handle SetContents handle SetACL handle Delete path Acquire TryAcquire Release GetSequencer SetSequencer CheckSequencer 仅Open包含节点路径 生成handle供其他API使用 如何使用ZooKeeper 关于ZooKeeper的锁服务这里的 锁 并非对ZooKeeper的资源加锁 用于对第三方资源加锁用例多个第三方分布式Server需要使用某第三方资源 谁获取了ZooKeeper中的独占锁 谁就可以使用第三方资源 否则等待 如何使用ZooKeeper Leader选举用于在多个节点中选取主控 如GFS中对外服务Master节点的选取 1 getData servers leader true 2 如果读取成功则从数据中获取leader信息 退出3 读取失败 执行create servers leader hostname EPHEMERAL 注意节点类型 如果创建成功则自己成为leader 写入信息 退出5 如果写入失败 则返回步骤1 getData设置了监视器 如果数据发生变化 会重启上述流程 如何使用ZooKeeper 独占锁如果分布式应用需要对某资源独占使用 可以申请独占锁 1 id create locks x SEQUENCE EPHEMERAL 2 getChildren locks false 3 如果id是第一个节点 则获取独占锁 退出4 exists nameoflastchildbeforeid true 注意 设置了监视器 5 如果id之前不存在节点 返回步骤26 等待通知7 返回步骤2 有且仅有一个Client可以获取到独占锁 如何使用ZooKeeper 共享锁 1 id create locks s SEQUENCE EPHEMERAL 2 getChildren locks false 3 如果id之前没有x 类型的节点 获取共享锁 退出4 exists nameofthelastx beforeid true 5 如果id之前不存在x 类型节点 返回步骤26 等待事件通知7 返回步骤2 如果之前没有独占锁 就可以获取共享锁 如何使用ZooKeeper 其他应用 小数据存储 例如 GFS中master如何获知ChunkServer信息 基于ZooKeeper的实现方法ChunkServer执行如下操作 1 id create chunkservers cs SEQUENCE EPHEMERAL 2 向节点id中写入ChunkServer元信息Master执行如下操作 1 getChildren chunkservers true 2 读取子节点数据 获知ChunkServer元信息 其他 ZooKeeper的会话Client通过发送PING请求与Server保持会话通过PING 可以同时获知Client与Server是否活跃ZooKeeper的