分布式文件管理系统SmartDFS的设计.ppt

分布式文件管理系统SmartDFS的设计 王占刚10312832戴婉薇10312038地球与空间科学学院2004 12 19 总体设计相应说明 服务器 假设任意两台服务器是连接的用户验证 用户列表服务器信息注册到名字服务器维护用户列表和虚拟目录以及用户身份认证向客户端提供虚拟目录服务器之间的协同以完成上载和下载功能服务器间的相互通讯和协同以维护虚拟文件的一致性 客户端 设置 名字服务器注册 使其具有下载上载的权限 安全性 可以进行上载与下载等操作工作原理DFS 分布式文件服务器 名字解析 与DFS交互 名字服务器与名字服务 一台名字服务器提供当前域下名字服务与IP的映射服务器启动后到此 登记 客户端通过名字服务器解析服务器地址 虚拟文件目录 使用数组记录每个服务器提供文件 目录 的路径 数组内存储 VDIR DIRTree 每台服务器启动后 建立一个虚拟文件目录 从而获知每台服务器上的文件 目录 列表客户端与服务器连接时 得到一个虚拟文件目录从而进行目录访问以及目录删除等操作注意事项一致性维护 客户端与服务器 服务器之间 DIRTree 下载缓存 客户端下载的文件不在所连接的服务器DFSDFS查询虚拟文件目录 获得该文件所在服务器DFS iDFS缓存DFS i内文件到本地服务器DFS将该文件传输给客户端复本 如果该文件存在多个副本DFS i满足 a 距离DFS最近b 响应时间短 上载缓存 以上两步完成以后 告知客户端上载完毕 否则失败DFS 1满足 a 距离DFS最近b 有足够的空间DFS与DFS 1可能是同一服务器 复本策略 文件上载后 服务器增加复本策略函数logmn确定增加多少个复本随机选择服务器 复本个数Y 服务器个数N Y N Y 1 logmn 根据客户端的下载次数增加复本多个客户通过服务器DFS下载DFS i上的文件 下载次数超过n次 在DFS上增加该文件复本 缓存与一致性维护 虚拟文件目录的一致性维护每台服务器拥有一致的虚拟文件目录客户端进行操作时 其缓存内虚拟文件目录与服务器上的虚拟文件目录一致引起不一致的操作 上载文件 目录 删除文件 目录 客户端与服务器文件目录不一致的解决 时间戳客户端进行操作时 向服务器端请求文件目录最新更改时间 从而决定是否重新获得虚拟文件目录 服务器间文件目录的一致性 DFS 由于上载或者删除引起的的虚拟文件目录修改通知其他所有服务修改虚拟文件目录可能引起的情况同时修改某一子树造成 碰撞 比如一个客户端要删除这个子树 目录 另外一个要向此目录上载文件解决方法 子树加锁当一个服务器上的该子树被修改时 其他服务器上的该子树被锁定 不允许其他客户进行修改 实现与说明 环境 LinuxKdevelopC 协议 TCP IP客户端 ConsoleSocket技术多路I O复用 系统开发情况 目前完成情况 所需类的创建客户与服务器的通信单服务器的文件上载虚拟文件目录树的大部分操作简单的名字服务下一步主要任务 下载缓存实现与服务器间文件目录的一致性其他技术视时间而定 任务分工 1 戴婉薇名字服务单服务器的文件上载下载缓存实现安全