高能物理海量数据迁移系统的设计与实现_第1页
高能物理海量数据迁移系统的设计与实现_第2页
高能物理海量数据迁移系统的设计与实现_第3页
高能物理海量数据迁移系统的设计与实现_第4页
免费预览已结束，剩余14页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、高能物理海量数据迁移系统的高能物理海量数据迁移系统的设计与实现设计与实现石京燕，臧冬松，程耀东高能物理所 计算中心大纲 背景与需求 迁移系统设计与实现 下一步工作数据迁移需求 数据密集型计算需要处理海量数据 BESIII实验数据：4PB 存储介质：磁盘，磁带 大规模数据迁移需求： 磁盘 磁带库 本系统应用对象：针对同站点BES数据迁移BES数据分层存储结构BES数据分层存储结构（续） 登录结点服务器，提供用户登录连接、调试程序及提交作业。 用户提交的作业被批作业管理系统送到后端的计算结点上运行。 所有作业通过对共享文件系统的访问进行数据读写操作。 存储采用三级目录结构，计算结点本地硬盘挂载在文

2、件服务器上的磁盘阵列 磁带库。 较高的性价比。 迁移系统体系结构体系结构说明 用户接口接收用户迁移任务发送给数据传输控制器。 数据传输控制器分析迁移任务内容，将迁移任务包装成传输作业提交给数据传输服务器 数据传输服务器将传输作业分配到各个传输节点上运行 传输节点连接磁盘阵列和磁带库，完成二者之间的数据复制，迁移。 数据库用于存放数据传输作业具体信息，并实时更新作业运行状态。用户接口 命令行 网页传输任务控制器 分析传输任务 整理迁移文件 包装传输作业传输任务控制器（续） 实现方法 磁带库 磁盘 对磁带文件根据磁带位置进行排序 保证抓取，翻转磁带等机械动作用时最少 磁盘 磁带库 磁盘数据文件磁盘

3、缓冲池磁带 计算传输文件大小及个数，判断磁盘缓冲池状态 保证磁盘缓冲池有足免的空余空间 传输任务分割 根据磁带库实际情况将任务分割成多个作业并行进行传输服务器 专用的批作业管理系统 接收从传输任控制器提交的传输作业 将作业调度到传输节点进行传输数据服务器 用于存放传输作业信息 提供用户查询作业状态 作业状态实时进行更新系统实现 数据库管理软件：二次开发的CASTOR I 数据传输服务器：TORQUE 2.4.1 设置两个传输对列：ToCator, FromCastor 数据库软件：MySQL 4.1.2 两个数据表： 用户数据传输任务信息（用户提交） 用户数据传输作业信息（传输任务控制器生成）系统实现（续） 传输节点： 万兆网卡 Castor客户端 磁盘阵列客户端 数据传输控制器 功能模块：Python语言编写 作业状态更新模块：C语言编写 作业状态周期更新：crontab系统实现(续)下一步工作

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论