（计算机应用技术专业论文）linux下aoe网络存储系统的建模与分析.pdf

哈尔滨一f 程人学硕十学位论文 摘要 随着网络存储技术的飞速发展和广泛应用 各种网络存储系统的性能分析 和研究成了当前国内外研究的热点 相应的 各种网络存储协议的重要性也不 言自明 从最初的f i b e rc h a n n e l 协议 到新近发展的利用i p 网进行块数据传 输的i s c s i 等协议 简单化 低成本化已经成为存储协议的发展趋势 a o e 协议 a t ao v a e t h e r n e t 是一种新型的基于以太网的网络存储协议 它将以太网与低成本磁盘组合在一起 利用标准的以太网传送a t a 磁盘命令 更为方便地构建了费用低廉而且容易使用的局域网存储系统 a o e 网络存储系 统使无限的可伸缩性变为可能 使得作为存储设备的低成本a r a 磁盘可以被网 络上任意的服务器共享 本论文基于l i n u x 系统对网络存储协议a o e 进行了深入的研究 在剖析其 运行原理和协议流程的基础上 通过建立排队论模型 对基于a o e 的网络存储 系统性能进行理论分析 然后通过仿真的性能测试结果证实了所建模型的正确 性和有效性 从结果分析中可以看到 a o e 网络存储系统性能可以通过提高网 络传输速率 增加每次传输的块大小 减少磁盘处理时间得到改进 关键词 a o e 协议 网络存储 排队模型 性能分析 哈尔滨工程大学硕士学位论文 a b s t r a c t 黝t h er a p i dd e v e l o p m e n to fn e t w o r ks t o r a g et e e l m o l o g ya n di t se x t e n s i v e a p p l i c a t i o n t h ep e r f o r m a n c ea n a l y s i sa n ds t u d yo fv a r i o u sk i n d so f n e t w o r ks t o r a g e s y s t e mi sb e c o m i n ga h o tt o p i ca th o m ea n da b r o a dc u r r e n t l y c o n s e q u e n t l y t h e i m p o r t a n c eo fv a r i o u sn e t w o r ks t o r a g ep r o t o c o l si sa l s oo b v i o u s f r o mt h ei n i t i a l f i b e rc h a n n e lp r o t o c o lt ot h en e w l yd e v e l o p e ds t o r a g ep r o t o c o l sw h i c hu s ei p n e t w o r kt ot r a n s m i tb l o c kd a t a s u c ha si s c s ip r o t o c o l s i m p l i f i c a t i o na n dl o w c o s t o f t h es t o r a g ep r o t o c o lh a sb e c o m eat t e n d a o e a t ao v e re t h e r n e t p r o t o c o li san e wt y p eo fn e t w o r ks t o r a g ep r o t o c o l b a s e do i le t h e m e t i tc o m b i n e se t h e m e ta n dl o w c o s td i s k st o g e t h e ra n d1 l s e st h e s t a n d a r de t h e m e tt ot r a n s p o r ta t ad i s kc o l l l n l a i l d s t h e r e f o r e i tc o n s t r u c t s a e a s y t o u s ea n dl o w c o s tl o c a la r e an e t w o r ks t o r a g es y s t e mm o r ec o n v e n i e n t l y a o e p r o t o c o lm a k e s t h eu n l i m i t e ds c a l a b i l i t yt ob ep o s s i b l e i ta l s oe n a b l e sl o w c o s ta t a d i s k st h a ta l eu s e da ss t o r a g ed e v i c e ss h a r e db ya n ys e r v e r so na n e t w o r k i nt h i st h e s i s n e t w o r ks t o r a g ep r o t o c o la o ei ss t u d i e di nd e p t hb a s e do nt h e l i n u xs y s t e m a f t e ra n a l y z i n gi t so p e r a t i o np r i n c i p l e s a n dp r o t o c o lf l o w a p e r f o r m a n c ea n a l y s i s t oa o ep r o t o c o li nt h e o r yi sc a r r i e do nt h r o u g ht h e e s l a b l i s h r n e n to fq u e u i n gm o d e l t h ec o l l e c t n e s a n dv a l i d i t yo ft h i sm o d e la r e c o n f i r m e db ye m u l a t i o n a lt e s tr e s u l t s n 圮r e s u l ta n a l y s i ss h o w st h a tt h ea o e n e t w o r ks t o r a g es y s t e mp e r f o r m a n c ec a nb ei m p r o v e db yi n c r e a s i n gt h en e t w o r k t r a n s m i s s i o nr a t ea n dt h eb l o c ks i z et r a n s f e r r e do n el i m e a l s ob yd e c r e a s i n gd i s k s e r v i c et i m e k e y w o r d s a o ep r o t o c o l n e t w o r ks t o r a g e q u e u e i n gm o d e l p e r f o r m a n c ea n a l y s i s 哈尔滨工程大学 学位论文原创性声明 本人郑重声明 本论文的所有工作 是在导师的指导 下 由作者本人独立完成的 有关观点 方法 数据和文 献的引用已在文中指出 并与参考文献相对应 除文中己 注明引用的内容外 本论文不包含任何其他个人或集体已 经公开发表的作品成果 对本文的研究做出重要贡献的个 人和集体 均已在文中以明确方式标明 本人完全意识到 本声明的法律结果由本人承担 作者 签字 垒垒 日期 坼 月j 7 日 哈尔滨 翠人学硕 学位论文 1 1 研究背景和意义 第1 章绪论 计算机系统结构的研究可归类于三个问题 计算 存储 传输 三分天下存储居其一 其重要性可见一斑 然而较之计算与传输 存储的发展相对滞后 在很多情况下成为制约计算机系统性能提高 的瓶颈 近年来 信息电子化的日新月异使各种数据信息 包含各种空间 数据 报表统计数据 文字 声音 图像 超文本等 以难以黄信的 速度急剧增加 其中 科学计算和仿真 飞行动力学 核爆炸仿真 虚拟现实以及医疗影像数据等所需的存储容量更是大到惊人的程 度 人们对存储产品及服务的迫切需求无疑对服务质量和存储系统 性能提出了更高的要求 这也就推动了各种存储技术和存储结构的 飞速发展 网络技术的发展为存储网络化展示了一幅美好的蓝图 通过网 络部分取代传统的1 1 0 总线 计算机可以更有效地管理 使用网络 上的任何存储设备 就好像它们直接连接到本机一样 网络存储将 网络技术和存储中的i 0 技术相结合 融合了网络和i 0 中的精华 囊括了网络技术中的可寻址能力 即插即用 远距离传送 灵活的 连接能力以及i 0 中的高性能 高效率 从而使得网络存储能提供 网络信息系统的信息存取和共享服务 解决了企业和用户对海量数 据存储的需要 网络存储技术能够为网络上的应用系统提供多样 便捷的信息存取和资源共享 并对其实施集中式管理 远程备份 灾难恢复等应用 能消除信息数据和用户之间的距离 实现对信息 数据的有效传输和管理 由于网络存储技术呈现出高存储容量 高 传输效率 高系统可用性和扩展性等优越特性 现在己广泛应用到 视频点播 远程事务处理 网上资源共享 海量媒体资源管理等领 哈尔滨i j 程人学硕十学位论文 域 并且正逐步深入到地球物理 卫星遥感 大气气象等高端领域 网络存储已经成为现今理想的存储管理和应用模式 网络存储协议标准是网络存储研究的一个重要工作 其主要目 的是规范网络存储的技术实施和方法实现 从较早的光纤通道协议 f c p f i b r ec h a n n e lp r o t o c 0 1 到最薪流行的i s c s i i n t e r n e ts c s i 等 基于块存储的i p 网存储协议 作为构建存储系统的基本框架和传输 标准的各种网络存储协议为网络存储技术的广泛应用奠定了良好的 基础 好的存储协议能够大大改善存储系统的性能 本文论述的 a t ao v e re t h e r n e t 网络存储协议 以下简称a o e 协议 就是近年束 由c o r a i d 公司丌发设计出的一种新型l i n u x 系统下的开放源码协 议 该协议的基本思想是将a t a 命令通过标准的以太网来传送 通 过a o e 协议构建的网络存储系统最大的优点就是高效率和低成本 a o e 由于去除了t c p 层与i p 层而失去了路由绕径能力 只能在l a n 环境内使用 但是这并不能掩盖a o e 协议的巨大优势 毕竟在生产 环境中部署存储网络首要考虑到的是效率和规模 特别是在现实的 网络存储中 用户的需求往往仅需要以数十t b 的存储设备来满足 大量服务器的存储需求 那么此时的a o e 网络存储系统无疑是一个 更好的选择 所以在诸如校园网和小型企业的存储应用中 a o e 相 当有竞争力 由此 对a o e 协议的研究将有助于迸一步提高a o e 局域网存储系统的性能和效率 为应用者带来更高的效益 1 2 网络存储概况 根据网络与存储系统结合的不同形式 网络存储的体系结构主 要分成三种模式 即直接连接存储 d i r e c ta t t a c h e ds t o r a g e 简称 d a s 附网存储 n e t w o r ka t t a c h e ds t o r a g e 简称n a s 存储区域 网 s t o r a g e a r e a n e t w o r k 简称s a n 口7 其中 d a s 由于其性能 约束已逐渐退出存储舞台 而n a s 提供的是文件级的数据访问 不 能满足高可靠度的数据存储系统要求 只有s a n 真j 下综合了d a s 和n a s 两种存储解决方案的优势 它采用块级别存储方式 不仅可 哈尔滨r 样人学硕十学位论文 以提供大容量的存储数据 而且能够缓解大量数据传输对于局域网 的影响 使得管理及集中控制实现简化 尤其是i ps a n h 其成 本相对低廉 互操作性好 技术普及 因此得以迅速发展 在当前的几种主要网络存储技术中 网络虚拟存储技术 1 可以 有效提高存储效率 降低存储投资费用和运行成本 简化存储管理 的复杂性 因此可以用来实现不同平台上的存储资源的共享 无间 断数据备份与快速恢复 无需中断业务应用过程的动态存储空 自j 分 配 异步远程数据复制 以及低成本的数据容灾与恢复 存储网格 技术 1 可以灵活实现不同架构存储系统之间的共享 可对用户所有 数据进行统一查看和管理 优化分布式远程数据访问的性能 智能 存储技术 存储管理服务置于专为存储网络设计的智能存储设备 中 存储系统自身具备某种智能 用以解决异构系统互操作性 存 储容量扩展 软件硬件升级 安全性 可靠性等阔题 最大限度地 减轻用户主机处理数据存储的负担 在存储标准方面 i p 存储网络技术的标准化工作币在全世界范 围内展开 目前 基本网络存储协议主要有 基于t c p i p 的光纤通 道协议f c i p f i b r ec h a n n e lo v e ri p 互联网光纤通道协议 i f c p i n t e r n e tf i b r e c h a n n e lp r o t o c 0 1 和互联网小型计算机系统接口 协议i s c s i 砷 i f c p 和f c i p 一样都是为了解决f cs a n n l 远程传输 问题而提出的标准 f c i p 是w a n 和m a n 中最常用的存储协议 非常适用于在地理上分布的存储区域网络之阻j 镜像保存数据 它将 f c 协议封装到t c p i p 包中 在两个s a n 之 自j 通过以太网建立隧道 构成一个统一的s a n 环境 i f c p 是一个网关到网关的协议 基于 i f c p 实现了s a n 的路由故障隔离 安全及灵活管理 故障恢复等 功能 它具有比f c i p 更高的可靠性 对于需要保持以太网基础设 施的用户来说 i f c p 是一项很好的技术 i s c s i 协议解决了开放性 容量 传输速度 兼容性 安全性等问题 它融合了s a n 和n a s 的优势 在这两者之间架设了一道桥梁 i s c s i 可以帮助用户构建 一个基于千兆i p 网络的集中存储环境 解决用户数据迁移 数据共 享 存储空阊扩展的问题 并大大降低管理成本 让用户能在i p 网 哈尔滨t 释大学硕士学位论文 络环境下充分享受s a n 环境带来的好处 同时也省去s a n 所需的 光纤网络的搭建成本 构建一个i ps a n 的存储平台 同时 i s c s i 协议还可以充分融合n a s 存储设备到该网络中 进一步利用n a s 设备的优越特性 实际上 当我们在构建自己的存储系统时 协议标准对保证系 统满足未来发展需求是至关重要的 利用适合的存储协议构成的存 储网络将具备良好的性能 可操作性 可管理性等多方面的优势 因此 不同的用户应该视其特点来选择使用最适合自己的标准 就 目前来看 i s c s i 是存储业内的普遍选择 f c i p 和i f c p 不会像i s c s i 那样迅速对市场形成很大的影响 但是它们都可以找到特定应用 比如 企业如果已经应用了光纤通道技术并且想克服距离限制 那 么就可以选择f c i p 如果还没有实施光纤通道技术 并且希望从非 光纤通道环境扩展和移植 则i f c p 是一个合适的选择 1 3 国内外研究现状和发展趋势 当前 网络存储已经成为世界存储行业研究的热点 在市场应 用方面 欧美各大跨国公司 如e m c h d s v e r i t a s i b m 惠普 等在存储系统产品的研发和未来技术发展上都有大力的资金和资源 投入 并在市场上取得了垄断性地位 其中e m c 在基于外部控制 器的存储市场领先 最新推出面向中小企业和经销商的网络存储系 统c l a r i i o na x l 5 0 和a x l5 0 i i b m 公司是存储服务器领域的佼 佼者 其推出的全新中低端存储产品及解决方案 以更低的成本帮 助中小企业用户解决数据存储和保护问题 提高业务连续性和有效 性 h p 企业系统集团 e s g 在存储的高可用性 数据整合 容灾 存储管理和备份等技术方面具有较大优势 其新近发布的简约存储 钓解决方案全面减轻了中小企业的数据存储管理的负担 另外 由 m e l l a n o x 公司提出的基于i n f i n i b a n d 简称i b a 的体系架构也已 成为业内新宠 这种新的i o 总线技术取代了目前的p c i 总线 主 要应用在企业网络和数据中心 也可以应用在高速线速路由器 交 4 哈尔滨 r 程大学硕士学位论文 换机 大型电信设备中 z e t e r a 公司的z s a n 技术利用标准u d p 协议 基于新的网络存储架构s o i p s t o r a g eo v e ri p 1 创建了一个 高效 强大可扩展的存储平台 国内企业中 浪潮存储基于开放架构和工业标准 以模块化设 计理念为指导 最新自主研发了一种并行网络存储系统 其包含了 智能化的嵌入式存储系统 跨平台的并行文件系统 模块化的存储 功能软件以及软硬结合的管理节点四大子系统 主要技术指标达到 国际领先水平 华为3 c o m 推出的n e o c e a n i x l 0 0 0 是面向多媒体海 量数据用户 中小企业用户及大型组织分支机构的模块化i p 存储产 品 具有高性能 多功能 管理方便 即插即用等特点 是华为3 c o r n 公司 自适应网络存储架构 的智能模块产品 另外 科软存储 飞骥存储等国内专业存储企业也正在网络存储领域进行着深层次的 研究 在学术研究方面 目前杜克 d u k e 大学 惠普 h p 研究中心 哈佛 h a r v a r d 大学等都致力于研究基于d a f s d i r e c ta c c e s sf i l e s y s t e m 直接存储文件系统 的体系架构n 该体系满足了存储网络 对扩展性 高性能数据管理 低拥有成本的要求 从而更好的实现 了n a s 和s a n 的融合 加州大学伯克利分校的j o h nk u b i a t o w i e z 等人提出了全局存储体系结构o c e a ns t o r e 用全局唯一名字来实现 任意存储 实现数据的全局存储表示 卡内基 梅隆大学的g a r t h a g i b o n 提出了基于智能存储设备的集成安全存储系统 n a s d n e t w o r k a t t a c h e ds e c u r ed i s k d3 该系统在n a s 存储设备智 能基础上进行扩充来实现基于文件的安全访问 在国内 清华大学高性能计算技术研究所网络存储实验室主要 开展海量信息存储技术研究 其研究内容涉及到海量信息的多层存 储体系结构 存储容灾技术 存储智能管理技术 存储高可用技术 存储安全技术 面向互联网服务的海量信息存储技术等 其研究出 的m s t o r 系列存储网络系统性能优越且成本低廉 可分别支持f c p i s c s i 协议 具有存储管理 存储虚拟化 数据容灾等完整的系统 组件 是国内首家拥有完全自主知识产权的s a n 产品 己应用于油 哈尔滨 程大学硕士学位论文 田 教育等行业 华中科技大学正在进行下一代互联网信息存储组 织模式与核心技术的研究 他们将采用创新的概念和技术 构建p b 级超大容量网络存储系统 以满足下一代互联网的海量信息存储要 求 中国科学院计算技术研究所的研究领域主要集中在研究网络存 储系统以及基于网络存储系统的高性能计算机系统的关键技术 总体来看 s a n 存储系统仍然是当前乃至今后一段时间的研究 热点 其中对共享s a n 文件系统和虚拟化这两种核心技术的研究将 关系到s a n 存储系统的实际应用效果 同时 网络存储具有相当的 复杂性 拥有众多的体系结构和协议标准 网络存储协议标准作为 网络存储系统发展的另一个重要工作还处于不完善阶段 今后还将 存在大量的标准制定和修改工作 未来网络存储系统必然是智能的 分布式的 异构的 虚拟化的存储系统 能够进行自我管理 自我 优化和自我恢复 因此 如何保证存储系统数据的保密性 完整性 可用性 如何更好的进行i o 性能的优化以及更方便地进行用户的 管理将成为网络存储的必然发展趋势 网络存储技术将面对的是永 无休止的变革 1 4 主要内容和章节安排 本文根据相关网络存储协议的发展趋势 详细分析了一种简单 且低成本的局域网存储协议a o e 包括该协议的消息格式规范 工 作原理 工作流程 与其它协议相比的优缺点以及其应用范围 同 时对l i n u x 下基于a o e 存储系统的实现进行了主要驱动程序分析 然后 本文采用排队论方法建立a o e 网络存储系统的理论性能模 型 对a o e 存储系统性能进行理论分析 最后 在l i n u x 系统下搭 建仿真存储系统 对a o e 存储系统进行仿真测试 从而证明所建网 络存储排队模型的正确性和有效性 结合理论性能参数和仿真结果 性能参数分析 论文提出了基于a o e 协议的网络存储系统性能改进 方法 6 哈尔滨工程大学硕十学位论文 论文共分五章 第一章绪论部分简单介绍了本论文的背景 意 义以及与网络存储技术和网络存储协议相关的国内外研究现状和发 展趋势 第二章介绍了网络存储协议a o e 包括其协议规范 消息 命令格式 协议软硬件支持等 第三章着重分析了a o e 协议的工作 原理 关键流程 协议的优缺点 应用范围以及协议驱动等 第四 章建立了a o e 协议的排队论模型 逐步深入地讨论了基于a o e 协 议的以太网网络存储系统模型 并对其性能进行理论分析 第五章 给出了l i n u x 系统下仿真测试出的a o e 存储系统性能结果 并以此 证实所建排队模型的正确性和有效性 最终结合理论和仿真实验分 析了影响a o e 存储系统性能的因素 提出对a o e 网络存储系统的 性能改进措施 结论部分作为全文的终结 概括了论文的设计思想 和主要贡献 并给出了后续工作的展望 7 哈尔滨t 程人学硕十学位论文 第2 章a o e 网络存储协议介绍 2 1a o e 协议的产生背景 在网络技术和存储技术日益成熟的今天 网络存储的构建途径 主要分为两大类 光纤通道和以太网 i p 网 与光纤通道相比 以 太网拥有许多类似的优势 包括高速 支持交换式光纤拓扑结构 支持长距离电缆以及价格便宜等 此外 i t 环境中无处不在的以太 网还提供了许多其它优势 如广泛的互操作性 众多的管理工具和 规模经济优势 可以说 利用以太网的存储技术具有其特殊的诱惑 力 但是 单从存储的角度来看 以太网所用的t c p 1 p 传输协议需 要占用c p u 进行大量的计算 而c p u 负荷太大不适用于处理存储 信息流量 一种解决方法就是将i p 处理负荷卸载到一个智能管理 器 比如 为了降低i p 系统负载 通过t c p i p 进行i 0 传输的i s c s i 就需要采用昂贵的t c po f f i o a de n g i n e s t o e 装置 尽管这样能大 幅改善高负载时的效能表现 但用户必须为此负担额外的存储构建 成本 要知道 随着存储系统成本在整个系统成本中所占比例的日 渐提高 系统成本 包括采购 管理和运营 往往是用户选择存储方 案的重要依据 因此 权衡效率与成本 一种更好的解决途径就是 使用其它轻型以太网存储协议 除了以太网协议对存储技术的影响外 存储接口本身也是用户 选择存储方案时要考虑的主要因素 固然 s c s i 接口标准有其系统 占用率低 速度快等优势 但是s c s i 存储设备价格高 安装不便 还需要设置及其安装驱动程序 因此这种接口的硬盘大多用于服务 器等高端应用场合 在中低端应用上 鉴于显著的经济性和兼容性 更多用户选择的是基于a t a a d v a n c e dt e c h n o l o g ya t t a c h m e n t 技 术的存储设备 随着s a t a 技术和s a t a i i 技术的出现 用户能够 在保持系统性能和可管理性的同时 实现比i d e 盘更快的转速和更 8 哈尔滨f 拌人学硕十学位论文 大的存储容量 s a t a 以其从低端到企业级存储市场中的突破性发 展 成为s c s i 技术之外的存储选择 由此 除去以太网的i p 负载 再配合a t a s a t a 存储产品的 低成本优势 参考h y p e r s c s i 以太网存储协议 的技术特性 c o r a i d 公司设计了一种新型的轻量以太网块存储协议a o e 一一a t ao v e r e t h e r n e t a o e 是由b r a n t l e yc o i l e 提创的一种网络存储协议 并且已经 成为在i e e e 美国电气电子工程师学会 中注册的标准以太网传输 协议规范 此协议消除了t c p i p 和光纤通道的复杂性 使得作为客 户端的应用服务器可以在以太网上通过通用的以太网交换机访问 a t a 标准的存储装簧 多指硬盘 即网络上的主机可以直接将远端 的a o e 存储装置当成是本地普通硬盘来存取使用 a o e 是一个底层 简单的协定 它能用低廉的费用方便地实现一个存储局域网 s a n 环境 2 2a o e 协议的封包格式 2 2 1a o e 协议头部 a o e 是一种基于以太网的命令 响应协议 提出i o 请求的a o e 客户机称作i n i t i a t o r 发起方 被请求进行存储处理的a o e 服务器 称为t a r g e t 目标设备 a o e 协议消息头部长2 4 个字节 如图2 1 所示 该消息头部具有4 个功能 首先 i i i 1 4 个字节的标准以太网 m a c 地址决定了消息从何处发出以及要传往何处 由于m a c 地址 是以网域为范畴进行广播式发送 因此能发现同一局域网内的目标 设备 其次 头部标识了目标设备的具体物理位簧 该物理位置记 录在1 6 位的长地址m a j o r 和8 位的短地址m i n o r 中 对于a o e 硬 盘柜 长地址通常指分配的机架或支架号 s h e l f 短地址是机架中 的磁盘插槽 s l o t 或者是逻辑设备号 如果目标设备是r a i d 阵列的 9 哈自 滨一啊犁人晋 硕十学位论文 话 而对于纯软件实现的a o e 协议 作为存储设备导出的 d e v e t h e r d e x y 中 x 和y 就分别代表着s h e l f 和s l o t 在处理头 部信息以前 a o e 服务器必须检查s h e l f 和s l o t 值的有效性 并在 响应中也给出它们的值 a o e 头部的第三个功能是将i n i t i a t o r 发出 的请求信息和t a r g e t 给出的相应的响应信息唯一地联系起来 这是 由关联标签t a g 字段来标识的 a o e 服务器将收到的请求信息中t a g 字段的值复制到响应信息中的t a g 字段中传送回去 请求方收到这 一响应后就对内部标签表进行扫描 找到相关的请求 这样 a o e 客户端的超时例程可以找到那些在一定时间内没有被响应的请求并 进行重传 这在一定程度上保证了a o e 信息的可靠传输 使得a o e 服务器在任意时间可以处理多个请求 最后 头部的4 位f l a g 字段 有两个标志位 r r e s p o n s e 和e e r r o r a o e 客户端将请求信息的 r 位置0 a o e 服务器只处理r 位是0 的消息 并在响应信息中将 r 置l 当发出的请求因为某种原因不能完成时 响应信息中的e 位会设置为l 用来表示有错误发生 a o e 协议可能会产生5 种错 误 包括无法识别的命令码错误 传输数据错误 a o e 服务器不可 用 配置字串已存在以及a o e 不支持协议版本号 具体是哪种错误 信息将由e r r o r 字段给出 o 4 8 1 2 i 6 2 0 o i23 0123 57g9 0l13 56j89012 34567890l e t h e r a e td e 5 t l a a t l c ba d 出 e t h e l i l e td e 2 t l 1 a t l o f la d 出 t h e m e s o 徽e e d 出 三d l e 瓒 o t t e e d d f e 出e b t y p e 0 z o 钿t 2 宙n 0 s 如馑 s l o t 1 a t a 图2 1a o e 消息格式 除此之外 协议头部的c l a s s 字段定义了a o e 的命令类型 有 两类消息通过a o e 传输 一类消息传送a t a 磁盘命令 命令码为0 另一类是查询配置信息 命令码为1 0 哈尔滨l 稃人学硕七学位论文 2 2 2a t a 命令格式 最常见的a o e 消息封装的是a t a 命令和要写到目标设备中的 数据 这类消息格式如图2 2 所示 1 23 0123 56 789a12a s67 89o12a 卑s678 9o1 4 4 一4 i f 十 一 一 一 一 一 中 一 一 一4 一 4 4 4 4 4 4 1 一 i v 4 2 4i d f l a g si e r r f e a t u r e i s e c t o rc o u n t i e m d s t a t u s l 一 一 一 一 十4 4 44 巾 巾 一4 m 4 4 十 2 8i1 b a d i 1 h a l i 1 h a 2 i 1 h a 3 i 中 一 十 一 4 4 巾 一 一 一 小4 1 4 4 f m 4 一 一4 一 3 2l1 h a 4 3 6l i l b a 5 i 十 一 一 十 一 d a t a r e s e r t p e d i 一 i 一 一 一 一 一 一 十 图2 2a t a 命令格式 a t a 标准包含与磁盘驱动器的物理连接和逻辑接口 采用的是 l b a l o g i c a lb l o c ka d d r e s s i n g 逻辑块寻址 模式访问硬盘 这种 区块性存储 传输机制也成为a o e 协议的技术基础 在l b a 模式 下 设置的柱面 磁头 扇区等参数并不是实际硬盘的物理参数 在访问硬盘时 由a t a 磁盘控制器把由柱面 磁头 扇区等参数确 定的逻辑地址转换为实际硬盘的物理地址 由于硬盘的每个扇区大小为5 1 2 b 因此通常情况下的2 4 b i t l b a 不能够正常支持容量大于1 3 7 g 的硬盘进行读写操作 这将导 致分区数据丢失 鉴于存储应用的大数据量传输 a o e 协议支持 4 8 一b i tl b a 扩展 即在同一个参数寄存器中存储两个2 4 b i tl b a 值 用来进行磁盘寻址 何时使用2 4 b i tl b a 或4 8 b i tl b a 由a f l a g s 字段中的e 位 扩展位 决定 见图2 3 一4 一 一 一 4 一 一4 一4 i z i e i z i d i z iz i n i i 4 一 一 一 一 一 一 一 一 图2 3a f l a g s 字段 e o 时 使用2 4 b i tl b a 将l b a 2 l b a l i b a 0 字段值拷贝到 a t a 设备地址寄存器中 将f e a t u r e 特征 和s e c t o r c o u n t 扇区数 字段值拷贝到的相应a t a 寄存器中 并将c m d 字段值拷贝到命令 寄存器中以便开始磁盘的事务处理 然后 a o e 服务器监测磁盘的 哈尔滨下程大学硕士学位论文 状态寄存器 待到a t a 操作命令完成以后 磁盘再将其状态寄存器 值 错误寄存器值以及读取的任意数据等放在响应信息中返回 其 参数传输过程见图2 4 d e u i c e l b al o w l b am i d l b ah i g h s e c t o rc o u n t e r r f e a t u r e c n d s t a t u s 一l b a 3 一l b a 0 一l b a l 一l b a 2 一s e c t o rc o u n t 一e r r f e a t u r e 一c m d l s l a t u s 图2 4e 0 时头部信息传输至a t a 参数寄存器 e i 时 使用4 8 b i tl b a 扩展寻址 将a t a 设备控制寄存器 的h o b h i g ho r d e rb y t e 字段设置为l 要同时使用l b a 的6 个字段 值 传输过程见图2 5 另外 与a t a 设备寄存器相对应的a f l a g s 中的d 位也只有在e i 时才有意义 d e u i c e l b rl o w l b nl o u l b rm i d l b ah i d l b ah i g h l b i h i g h s e c t o rc o u n t s e c t o rc o u n t e r r f e a t u r e c m d s t a t u s 一 a f l a g s o x 5 0io x a s 一l b a 8 一l b a 0 一l b a j 一l b a l 一1 b a 5 一l b a 2 一口 一s e c t o rc o u n t 一e r r f e a t u r e 一c n d s t a t u s 图2 5e i 时头部信息传输至a t a 参数寄存器 a t a 消息一般包括请求和响应两部分 其事务处理存在三种可 能 无数据传输 向磁盘写入数据以及从磁盘读出数据 a t a 设备 的参数寄存器中并没有指出发生的是哪种操作 但是在a t a 消息 中 a f l a g s 中的w w r i t e 位和s e c t o rc o u n t 字段会决定数据的传送 方向和大小 当数据写入到磁盘驱动器时 w i 数据量大小为扇 区数 5 1 2 个字节 当数据从磁盘读出时 w 0 从a t a 设备读出 s e c t o rc o u n t 5 1 2 个字节 如果命令成功 响应消息的d a t a 字段给 出的是从目标设备读出的数据 当没有数据传送时 s e c t o rc o u n t 必须为0 同时忽略w 位 由于a o e 协议的a t a 命令是在以太网 1 2 哈尔滨t 程大学硕十学位论文 上传输 而标准以太网帧最大为l5 1 8 个字节 这就限制了单个信息 发送的扇区数不能超过2 个扇区 即便是在l g e 和1 0 g e 以太网的 巨型帧中 每次传送的扇区数也不能超过1 6 个 8 1 9 2 个字节 与w 位配合使用的还有a a s y n c h r o n o u s 位 a l 并且w i 时 表示异步写 即a o e 服务器缓存写请求 并且在收到写命令时立即 予以响应 其响应信息中的具体命令字段与请求信息相应字段内容 相同 这样 倘若随后读取的同一扇区存储的是已经被缓存了的数 据 a o e 服务器则会在适当的时候提出硬件请求 直接读取缓冲区 如果a o e 服务器断电 则写缓存的数据会丢失 与其它写请求不同 当异步写请求命令完成时 就算有错误出现 a o e 服务器端也不再 发出响应 异步写方式允许多个写请求在a o e 服务器端进行排队 并使a o e 目标设备在单个磁盘事务中处理多个写请求数据传输 除了异步写 在a o e 协议中 只要a t a 命令一完成 则无论 成功与否都会产生响应信息 此时会将a t a 设备寄存器中各项值拷 贝到相应的响应信息字段中 见图2 6 这对于e 1 或e 0 时都是 相同的 e r r f e a t u r e s e c t o rc o u n t l b a 0 l b a l l h a 2 c 们d s t a t u s 一e r r f e a t u r e 一s e c t o rc o u n t 4 l b gl o w 4 l b rh i d 一l b gh i g h 一c n d s t a t u s 图2 6 a t a 寄存器至响应信息的参数传输 总的来看 a t a 消息命令主要是a o e 的发起方针对a o e 目标 设备进行具体的数据存储操作 2 2 3 配置 查询命令 对于和多个a o e 目标设备相联系的少量a o e 客户端主机来说 上述a o e 协议采用的s h e l f 和s l o t 命名机制已经够用了 但是随着 的a o e 客户端主机和目标设备数量的增多 这种命名机制就显得 力不从心 了 于是 a o e 协议又采用了另一种更高级的命名机 制 就是第二类命令一一配置 查询消息 其格式见图2 7 1 3 哈尔滨f 稃人学硕士学位论文 b123 12a s670901234s 67 09 12a 4 s 6 7e9 口1 一 一 一 一t 一 一4 1 一 一 十4 一4 十 2 1 1ib u f f e rc e u n t i f i r w a r eo e r s i o n i 一 一 一 一 十 4 1 一 十 一 一 2 0 i s e c t o rc o u n t i n o e i c c 咖 ic o n f t gs t r i n gi e n g t ni 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一4 1 一 一4 t 一 一 一 一 一t l 一 一 3 2 lc o n f t gs t r i n gl 一 一 一 一4 1 一 一 一 一 一 图2 7 配罱 查询命令格式 每台a o e 目标设备端都有少量非易失性存储空间用来保存一 个配置字符串 记录在c o n f i gs t r i n g 字段中 它可以是任意的二进 制数值 长度小于等于1 0 2 4 个字节 具体长度由c o n f i gs t r i n g l e n g t h 给出 这个c o n f i gs t r i n g 存储区对a o e 服务器来说没有任何 意义 而仅仅是客户端主机用来存储信息的一个场所 不将c o n f i g s t r i n g 存放在磁盘上也是为了避免其与a o e 服务器软件互相影响 这样 当将客户端主机的磁盘移动到a o e 服务器端时 无需重组信 息 该磁盘仍能被访问 a o e 客户端发出的配置 查询命令对该数据 进行两种方式处理 有条件或无条件的设鸯 以多种不同方式查询 设置c o n f i gs t r i n g 要注意两点 首先 只有当i i 的c o n f i gs t r i n g 长度为0 时设置请求才会成功 执行c o n f i gs t r i n g 存储区的设置 在c o n f i gs t r i n g 存储区的数据长度非0 时 返回的响应中f l a g 字段 的e 置为l 同时e r r o r 字段置为4 发出的设置请求失败 其次 可以强制a o e 服务器设置c o n f i gs t r i n g 存储区 由于先前的c o n f i g s t r i n g 值可以是零长度 因此允许重新设置c o n f i gs t r i n g 查询消息中包含的查询字符串用于和已存储的c o n f i gs t r i n g 进 行匹配 实际上 c c m d 字段的命令号决定了执行的是配置功能还 是查询功能 除了c c m d 3 用于表示设置c o n f i gs t r i n g c c m d 4 表 示a o e 服务器强制设黉c o n f i gs t r i n g 另外三个命令c c m d 0 c c m d l 和c c m d 2 分别代表了查询的三种模式 c c m d 0 是读取c o n f i gs t r i n g 而无需测试和响应 c c m d l 测试c o n f i gs t r i n g 只有查询字符串和 a o e 服务器上存储的c o n f i gs t r i n g 内容和长度都完全匹配时才有响 应 主要用于寻找特定目标设备的广播查询 c c m d 2 测试c o n f i g 1 4 哈尔滨i 稃人学硕十学位论文 s t r i n gi j i 缀 在查询字符串和a o e 服务器上存储的c o n f i gs t r i n g 前 缀匹配时才有响应 在配置 查询消息中 b u f f e rc o u n t 和s e c t o rc o u n t 字段主要与 a t a 命令联系甚密 其中 b u f f e r c o u n t 是a o e 服务器端排队等待 处理的未完成消息的最大量 达到这个值后 再传送到目标设备的 消息将被丢弃 s e c t o rc o u n t 规定了a o e 服务器在单个a t a 命令请 求中能够处理的最大扇区数 a o e 字段和f i r m w a r ev e r s i o n 字段分 别表示的是a o e 协议版本号和a o e 目标设备的版本号 在发出的 命令信息中 这四个字段应该由客户端设置成0 并被a o e 服务器 忽略 而在响应信息中 a o e 服务器必须提供所有字段的值 在a o e 协议中 要求a o e 服务器执行所有命令之前先广播一个t a g 0 的配 置 查询响应消息 一般来说 引入存储系统的a o e 目标设备有多个 每一个的 c o n f i gs t r i n g 长度是0 如果某个a o e 客户端主机需要更多的存储 空间 它会先发出一个广播查询 通过完全匹配寻找c o n f i gs t r i n g 长度是0 的目标设备 由于所有初始目标设备都没有设置c o n f i g s t r i n g 所以它们都会进行响应 a o e 客户端的主机会随机选择一 个a o e 服务器设置其配置信息 此时c o n f i gs t r i n g 会存储在e o n f i g 存储区 a o e 客户端主机会收到一个主动响应 但是 当有两个或 两个以上的a o e 客户端同时对