带库应用技术基础篇

带库应用技术基础篇伴随着广电行业的飞速发展，全台网所承载的信息量在急剧的膨胀，媒体数据长期归档保存的需求也在不断增加。磁带做为一种特殊的存储介质，一直充当着近、离线存储的角色。尽管现在充斥着各种声音，但在基于磁盘的、能源节约型的、操控方便的新型存储出现之前，相信其在这一存储环节的地位不会被动摇。在广电行业，本土化的带库应用研究起步较晚，对带库的工作机制了解的并不深入，特别是在前线打拼的同仁们，可能对带库的认识基本还停留在业务层面。本人借在CCTV新址项目工作的机会，组织整理了一些相关材料，以供开发线和项目线的同仁们参考。本文分为四部分：磁带常识、带库技术、磁带技术和纠错机制。磁带常识部分主要是认识一下磁带，围绕着外观、条码、磁带信息和寿命几个方面来介绍。带库技术部分主要是介绍带库各组件， 重点讲解带机工作原理。磁带技术部分主要介绍磁带上的数据记录方式， 重点讲解LTO技术。最后一部分介绍磁带数据完整性的保障机制。一、磁带常识根据我们的行业应用特点，这里主要介绍一下在媒体数据长期保存业务中经常用到的 LTO磁带。第1页（一）磁带简介LTO磁带是一款单卷轴磁带。磁带盒长10.2厘米，宽10.5厘米，高2.2厘米，内装半英寸（1.26厘米）宽磁带。伴随着LTO技术的发展，磁带的容量和访问速度都在不断提升，目前已经发展到第四代，即LTO4磁带：磁带长820米，裸容量800GB，最高支持120MBps的访问速度。详细的磁带规格见下表。属性LTO1LTO2LTO3LTO4发布日期2000年2003年2005年2007年裸容量100GB200GB400GB800GB速度(MBps)154080120TapeLength609m609m680m820mTapeTracks384512704896下面结合磁带外观，对其做进一步的认识，如下。方向指示（arrow）带库内部存在三个可以放置磁带的区域： 机柜内侧的磁带槽、驱第2页动器和带库前面板处的离线盒。前两处区域磁带的放置一般通过机械手自动完成，沿着方向标识插入相应槽位，即条码标识面外露。离线盒区域的磁带放置一般通过人工完成，这时方向标识要面向操作者，即条码标识面不外露。总的放置原则是：条码要面向机械手，因为条码信息的读取要通过机械手来完成。条码区（labelarea）磁带的背端（一般与写保护开关同侧）有一略凹的矩形区，用于粘贴条码标签。磁带本身也会携带唯一标识信息， 存于带盒上的记忆芯片之中，但仅供生产厂商内部使用。所以，外部贴置条码很好的解决了磁带在应用层面的唯一标识问题。 条码贴置不存在方向问题，但一般建议的贴置方法为：方向指示面沿箭头指示向外（或向上）放置磁带，条码区面向操作者，标签纸正向粘贴。侧边凹口（notch）磁带两侧靠近背端处有两对凹口，用于伺服装置固定磁带。机械手通过夹握第一对凹口，将磁带送进或拉出驱动器；驱动器通过夹握第二对凹口将磁带拉入其内部并固定到正确的位置。侧边滑门（slidingdoor）磁带侧面前端处有一滑动门，这是磁头读写磁带的位置。滑动门由驱动器操作，不要试图人工打开滑动门，否则可能会对磁带造成污染或损坏。滑动门内部机关重重，首先有一个滚动导销，当磁头工作是，导销将磁带拉出带盒，贴近磁头。当磁带轴转动时，磁带经过导销可以平滑移动；其次有一个磁带固定装置，避免磁带松动。第3页错装保护（mis-insertionprotection，图中未标识）尽管磁带盒上有方向标识，但这也不能完全避免操作者错装磁带。鉴于此，磁带盒在方向标识面的边缘削出一个斜面，前薄后厚；同样，磁带槽也有相应的设计。只有磁带和槽位的两个斜面完全吻合，磁带才可以顺利的完全放置进槽位。在今天看来，磁带盒一切的设计都是那么的理所应当。但就是这小小磁带盒汇集了多项专利技术，一个凹口，一个斜面，甚至是一个标识。（二）磁带条码所有数据带、清洗带和诊断带都必须带有条码标签，否则磁带库无法正常工作。条码标签随磁带销售，但一般需要用户自己粘贴。条码格式如下。在条码两端有空白区：StartingquietZone和EndingquietZone第4页StartCharacter标识条码信息的开始StopCharacter标识条码信息的结束中间是6个字符的卷标识，也就是我们可以在标签纸上可以看到的6个稍大些的字符还有两个小一些字符，标识介质类型，以L1为例，L标识LTO磁带，1标识第一代磁带通过磁带条码中的卷标识，我们可以明显的分辨出磁带类型：数据带、清洗带和诊断带。卷标识的定义遵循AutomaticIdentificationManufacturers(AIM)specification。数据带的卷标识由6个字符组成，仅限于A—Z和0-9这些ACII字符清洗带的卷标识格式：CLNUnn或CLNvnn。CLNUnn标识通用的清洗带，CLNvnn标识专用清洗带诊断带的卷标识格式：DG(space)vnn（三）磁带信息磁带盒左后端（靠近条码区）装配一记忆芯片 —串行EEPROMLTO-CM），用于保存磁带相关信息：厂商信息、磁带标识、用户数据信息和磁带使用统计信息等。该记忆芯片具有4096字节的容量，划分为128个数据块，每个数据块32个字节。记忆芯片配有非接触第5页性无源射频接口，磁带驱动器通过产生低压射频场来对记忆芯片进行读写操作。LTO-CM的信息也可以通过外部专用工具读出，下面是一些示例数据。SerialNumber是磁带标识，在磁带出厂时写入，外部程序只读。VolumeID是磁带条码，该信息数据属于应用程序相关数据，即由应用程序写入（但从文档上看，似乎无SCSI指令支持该字段的写入，该处存疑）。对于应用来讲，对磁带的使用统计信息至关重要，其中涉及到加载次数、磁带读写错误统计信息、伺服装置操作错误信息等。应用程序需要定期监测这些错误信息，当超过一定门限时，磁带数据需要做转移处理，而后磁带作废。（四）磁带寿命磁带采用高耐用材料制成，但反复使用仍可能导致磁带磨损， 从而增加读写错误率。为保证数据安全，磁带会有使用寿命的限制，参考数据如下：数据长期保存15—30年磁带装卸5000次第6页磁带全程读写200次为最大程度延长磁带使用寿命，厂商给出一些磁带应用方面的建议：一、磁带容量不要用满，使用50%的容量能延长一倍的寿命，这主要得益于磁带数据的分布方式，这在后面会提到；二、利用带机自身的“写后读”技术对磁带数据做验证，不建议应用层对磁带数据重新读出做验证；三、充分发挥LTO-CM信息的作用，对错误率超过一定门限的磁带及时做数据转移处理；四、全程写操作对磁带寿命影响较大，建议一周不超过四次全程写，每月不超过17次全程写。二、带库技术（一）带库组件带库内含主控模块、机械手、磁带槽和磁带机等基本组件。带库用于支撑高容量存储应用，一般由多个机柜组成，根据机柜的功能不同，可划分为基础柜和扩展柜。每个机柜都可以装配磁带机和磁带槽，机械手可以游走于任何一个机柜， 但主控模块只装配在基础柜。 核心组件介绍如下：主控模块主控模块是带库控制 /状态链路的核心组件，实现各个槽位状态的检测；控制机械手，完成磁带检测和磁带迁移；检测磁带机状态及相关固件信息；实现带库的管理与监控。第7页磁带机磁带机是带库数据链路的核心组件，实现磁带的加载与卸载，完成磁带数据的读写操作，其工作原理会在随后做专项介绍。机械手磁带介质便捷迁移，这使得带库能够成为高容量、绿色型存储，机械手则是完成磁带迁移的核心组件。 在主控模块的控制之下，机械手能够完成磁带在磁带槽、磁带机、离线盒之间任意位置的移动。此外，机械手上装配有条码阅读器，能够获取磁带卷标识，并传送给主控模块。根据带库提供给应用主机访问主控模块的链路的不同，存在两种带库架构：单路径架构和多路径架构，见下图。多路径架构带来的优势主要体现在两点：1）应用主机可以通过任何一条带机通路来访问主控模块，这样，任何一个通路出现问题都不会中断主控模块的正常工作；2）为多个应用主机共享带库提供了条件，无需再开发中间件第8页来串行化对带库的操作。带库分区应用正是基于了此项技术。（二）带机原理磁带机是以磁带为记录介质的数字磁性记录装置，它由读写磁头、读写电路、磁带传送机构、伺服控制电路和有关逻辑控制电路等组成，如下图所示：磁头简介磁带加载到带机内部后，磁带侧面滑动门打开，内部滚动导销将磁带拉出带盒，并贴近磁头。在伺服装置的带动下，磁带经过磁头高速移动，从而完成磁带数据的读写。第9页目前，磁头都可以实现多个磁轨的并发读写， 这通过在磁头上装配多个磁头元来实现。如上图所示，图中磁头装配了 32个磁头元，分为向后两排，这称为 2x16磁头。两排磁头元的设计主要基于以下考虑：1）一排做为写磁头元，另一排做为读磁头元，在前一排写磁头元完成数据写操作后，后一排的读磁头元紧接着做数据校验，这就是“写后读”技术的基本实现方式。2）读写磁头元的角色会反复转换，当磁带正向运动时，前排磁头元实现写操作，后排磁头元实现读操作；当磁带反向运动时，后排磁头元实现写操作，前排磁头元实现读操作。磁带还会反向运动进行写操作吗？这在后面还会解释，这正是LTO的线性蛇形记录技术。磁头不仅实现数据读写，而且还承担着磁带寻址的工作，这通过磁头的伺服传感器和磁带上的伺服轨道来配合完成。磁带私服轨道后面还会详细介绍，简单的打个比方，伺服轨道类似于高速路上的行车线。下面结合右图讲一下私服传感器。磁头一般配装四个伺服传感器：Topservo0(TS0)、Topservo1(TS0)、Bottomservo0(BS0)、Bottomservo1(BS1)。磁头基本与磁带的单个数据区同宽， 这样，磁头就可以在两个伺服轨道上运第10页动，从而增加寻址的可靠性。TS0和BS1配合完成正向寻址，TS1与BS0配合完成反向寻址。假设伺服轨道上标有6个伺服位置，则磁头的运行轨迹如下：。。。。从上图可以看出，基于一条6个伺服位置的伺服轨道，一个配备4伺服传感器、2x16磁头元的磁头可以完成192(6x2x16)条磁轨数据的读写。读写电路磁带机的读写电路主要由主处理器、伺服控制器、数据缓存、主存储器、编码电路等几部分构成。伺服控制器主要实现对磁带卷动电机、磁头移动装置、磁带装载电机、磁头清洗电机等伺服机构的控制，同时还处理磁头获取到的伺服轨道信息，实现磁带的寻址。主处理器实现对整个系统控制与管理，重点实现数据的编解码与验证工作。下面结合数据缓存和主存储器，重点讲解一下写数据的工作流程。1）应用主机通过光纤通道向磁带机发送数据，数据首先到达数据缓存。数据存储是一种高速存储器（采用SSRAM），主要用于和光纤链路进行速度匹配，容量一般为4MB。第11页2）主处理器从数据存储按记录单元（一般为256KB）读取数据，增加CRC校验码和奇偶校验位，然后将数据写入主存储。3）主处理器从主存储读取需要写入磁带的数据。主存储的存在，主要是为磁头提供稳定的数据流，一般容量为256MB。4）主处理器将数据加入RS纠错码，然后传送给编码电路。5）编码电路目前主要采用部分响应完全匹配技术（PRML），编码信号传递给磁头。6）磁头将电信号转化为磁信号，实现磁带的磁化写操作7）磁头在进行写操作的同时，会随后将已写数据读出，传递给主处理器，主处理器对数据进行RS校验，若发现数据错误，则执行重写操作。（三）编码方式磁头的工作过程是一种电磁转换的过程。 读写电路形成的驱动磁头的电流波形的方式称为记录方式。记录方式实际上是一种编码方式，它是按特定规律将一串二进制数据转化为一定波形的电信号， 再通过磁头转化为磁层中相应的磁化状态。LTO3以前的磁带机一般采用 RLL（runlengthlimited）编码，这种方式是在原二进制数据中加入冗余位， 从而去除连续长序列的 0或数据位。由于这种方式会降低磁带的有效利用率，目前主要采用PRML（PartialResponseMaximumLikelihood）编码，如下图所示。第12页关于PRML编码，一直没有找到详细的参考材料。我们可以这样简单的来理解：将数据写到磁带上，然后再从磁带上读出，这样可以把磁带理解为一个信噪比不是很好的信道。 传统的做法是通过处理信源来提高信号恢复的成功率，而 PRML则是通过提高数据恢复技术来提高信号恢复的成功率，所以 PRML技术的设计重点是在读电路的设计上。三、磁带技术磁带技术的发展基本体现了带库发展的主线，这主要来自用户的驱动以及各个研发厂商对带库容量、访问速度和数据安全等关键性能指标孜孜不断的探索。磁带市场中，主流磁带格式有 DDS、DLT、AIT、LTO及它们的升级版本 S-DLT、S-AIT等等，它们以各自的特点和优势占据着具有相关需求的市场。目前，采用 AIT技术的厂商主要是SONY和SpectraLogic；采用LTO技术的厂商主要有 IBM、HP、Quantum，同时SONY、SpectraLogic也有LTO相关产品。尽管磁带格式种类繁多，但从其工作原理上讲，基本可划分为线性记录技术和螺旋扫描技术两大类。 下面先对这两类技术做一简单介第13页绍，然后再对典型的线性记录技术 -LTO做重点讲解。（一）线性与螺旋线性记录技术线性记录技术起源于模拟音频记录技术，类似于录音机磁带原理。它是通过单个或多个静态的磁头与高速运动的磁带接触来进行数据记录和读出操作。这种技术可使驱动系统设计简单， 但由于数据在磁带上的记录轨迹与磁带两边平行，数据存储利用率较低。同时，这种技术对磁带的张力也有一定的要求。特点素描：磁头静止、磁带高速移动、磁轨与磁带两侧平行。螺旋扫描技术螺旋扫描技术起源于模拟视频记录技术，类似于录像机磁带原理。它和线性记录技术正相反，磁带缠绕磁鼓的大部分，并水平低速前进，而磁鼓在磁带读写过程中反向高速旋转，安装在磁鼓表面的磁头在旋转过程中完成数据的存取读写工作。当它在一定时间内没有收到移动磁带的命令，就会放松磁带并停止转动磁鼓，以防止不必要的介质磨损和避免介质长期处于张力状态。磁头在读写过程中与磁带保持15度倾角，磁道在磁带上以75度倾角平行排列。采用这种读写技术在同样磁带面积上可以获得更多的数据通道，充分利用了磁带的有效存储空间，因而拥有较高的数据存取密度。特点素描：磁头高速运动、磁带低速移动、磁轨与磁带两侧成一第14页定角度。（二）LTO技术LTO（LinearTapeOpen—线性磁带开放协议）技术是由HP、IBM、Seagate这三家厂商在1997年11月联合制定的，是在线性记录技术基础的改良，结合了线性多通道、双向磁带格式的优点，属于线性螺旋技术。由于磁头在磁带上划过的轨迹反复倒向，如同蛇形，故也称之为蛇形记录技术。本节将结合 LTO磁带的技术规格，对该技术做一详细介绍，规格表如下：属性LTO1LTO2LTO3LTO4Speed(MBps)154080120TapeTracks384512704896Writeelements881616WrapsperBand12161114在以上规格表中，有这样几个特殊的术语： writeelements、wrap和band。“WriteElements”表示磁头可并发读写的数据元，实际上也表示磁带机中元磁头的个数，例如LTO4磁带机配置了16个元磁头，可以并发完成16个磁轨数据的读写操作。“Band”这里特指数据带，在后面会详细介绍。“Wrap”指磁头可并发处理的从磁带物理前端到物理末端的一组磁轨，也称为轨道组。第15页下面重点解释一下 BAND，见下图。LTO技术从第一代到现在的第四代，磁带除了磁轨数和长度不同外，在格式定义上是一致的：沿磁带纵向，划分为 11个区，其中包括2个保护带（guardband）、4个数据带（databand）、5个伺服带（servoband），如上图所示。“guardband”“Guardband”位于磁带的边缘，无任何信息记录，主要是防止磁带边缘受损而导致数据丢失。“databand”“Databand”是用户数据的记录区，从上图可以看出， 4个数据区并不是从上而下一次排列，而是DB0、DB1位于磁带磁带中部，DB2、DB3位于磁带的相对边部。在磁头向磁带记录数据时，数据带的启用顺序依次为：DB0、DB1、DB2、DB3。所以，越是先写入磁带的数据，就越靠近磁带的中轴线，这也是厂商建议“磁带使用容量越少，第16页数据保存年限相对就越长”的原因。以LTO4磁带为例，磁带的每数据带上包含224（896/4）条数据轨道。数据在从磁带一端到另一端记录的时候，磁头会一次同时写条数据轨道，并遵循以下过程：1）开始磁头会定位于0数据带的上方，写入第一个16数据轨道组，磁头会从磁带物理前端写入，直到磁带末端。2）磁头会物理重新配置（在相同的伺服带内偏移到不同的伺服位置）并同时会转到第二个写入16轨道组，之后磁头将从磁带物理末端直到磁带前端，进行反向写入磁带。3）磁头会物理再次重新定位（在相同的伺服带内偏移到不同的伺服位置），数据由磁带开头写入直到磁带末端。（4）磁头会以以上方式持续工作，直到 0数据带的224条磁带写满，这时磁头会回到磁带的物理前端。5）磁头会移动到1数据带继续完成数据写入过程。下面结合图例再对LTO的蛇形记录技术在进一步的解释。上图描述的是一个 2x8磁头的记录过程，但仅对其中两个磁头元第17页的记录轨迹做了展示。同一轨道组的磁道在物理上并不靠近， 这也很容易理解：磁头基本与数据带同宽，元磁头等距分布，则同一轨道组的两个磁轨之间间隔的磁道数为“数据带轨道数 /磁头元个数”。从上图还可以看出，磁头在定位伺服位置时也存在一个有趣的规律， 假设有6个伺服位置，通过两对servosensor来定位，则顶端两个servosensor的定位规律如下：TS0—Pos0、TS1—Pos5、TS0—Pos1、TS1—Pos4、TS0—Pos2、TS1—Pos3、TS0—Pos3、TS1—Pos2、TS0—Pos4、TS1—Pos1、TS0—Pos5、TS1—Pos0。通过12次正反运动，完成12个轨道组的记录工作。在轨道组被写入时磁带从物理前端到末端的称作前向轨道组；在轨道组被写入时磁带从物理末端到前端称作反向轨道组。在所有正向写入区域和反向写入区域之间的磁带空间叫做方向缓冲(directionbuffer)，这个设计是为了最小化反向交叉磁轨间的相互干扰。数据磁轨纵向贯穿整个磁带，但并不是整个数据带都可被用户来使用。数据带的物理两端是磁头应用区，无法记录数据，主要是用于磁头横向寻址（磁轨定位），磁头应用区之间才是用户数据区。磁带设备是一种起停操作设备，也就是说磁头可以静止在用户数据区的某个位置，这主要源于两个方面：一是应用层完成了一次操作，不再提供记录数据；二是由于速速不能匹配，应用层无法及时的向带机供应记录数据。磁头停靠区无法记录数据，正是基于这样的原因，磁轨上规划了IBG（interblockgap），用于速度匹配和磁头临时停靠。 Block第18页是磁轨记录数据的基本逻辑单元，一般512-4096字节不同，因磁带而异。Block之间是IBG，当然这是比较原始的使用方式，磁带利用率极低。多个Block可以组成一个Record，Record成为应用层的基本数据单元,Record之间是IBG。Record的大小（一般由带机主存储器的容量和数据编码机制决定）可以灵活配置，从而有效的提高了磁带的利用率。“servoband”“Servoband”是磁带上伺服区，主要是为磁头提供磁带位置信息，协助磁头完成数据寻址。每个“databand”两侧都有一条“servoband”。磁头一般比单个数据带略宽，这样其就可以通过两个伺服区对磁轨进行寻址，增加了寻址的可靠性。“servoband”由一些列的“servostrip”组成，如下图。多条连续的“servostrip”组成一个“servoburst”。根据strip的数量不同，“servoburst”分为两种：5bursts和4bursts。一个“5544”burst序列组成一个伺服帧（servoframe）。正式基于这些在磁带出厂时就已经形成的磁条， 伺服带可以完成第19页三个功能：磁轨横向定位、磁轨纵向寻址和磁带测速。磁头通过识别 P1、P2、P3、P4四个脉冲长度来确定伺服位置，不同的伺服位置，四个脉冲长度有不同的定义。所以，磁头的轨道横向定位也是一个不断扫描不断确认的过程。 也是正是基于此，即使不对磁带进行读写，反复的加载磁带也会对磁带产生磨损， 从而降低磁带的使用寿命。S1、S2、S3、S4是四个测速脉冲。当然，不同的伺服位置，测速脉冲长度也有不同的定义。带机中伺服控制器根据磁带运动的物理长度和磁头提供测速脉冲数据可以计算出磁带的转速，这也为动态调速提供了技术条件。伺服带通过向磁头提供LPOS码字来完成磁带的纵向定位。一个伺服帧可以提供一个Bit的位置信息，这通过移动5burst的第二个磁条和第四个磁条的位置来实现，如下图