（计算机应用技术专业论文）媒体资产管理系统中存储系统的研究与设计.pdf

摘要 摘要 随着广播电视事业几十年的发展，电视台、档案馆等单位积累了大批的视、 音频资料。这些珍贵的资料面临着管理的困难、使用的困难，另外传统的节目使 用模式也制约着电视台的发展。为了解决这些问题，媒体资产管理系统应运而生。 本文简要介绍了媒体资产管理系统的概念、产生的原因、发展现状以及体系 结构。讨论了存储在媒体资产管理系统中的地位与作用，并简单介绍了存储管理 的概念和分级存储的思想。介绍了存储模型的发展过程和存储网络的发展历史， 并介绍了几种常用的海量存储设备，论述了本文设计的存储系统所运行的网络环 境。 本文的重点是媒体资产管理系统中存储系统的设计。在这一部分中，论文提 出了存储系统的总体设计：它由存储层和接口层两部分构成，接口层对外围系统 提供服务，存储层完成实际的数据迁移工作。然后分析了存储网络的结构，明确 了存储层的运行环境为s a n 网和以太网的双网架构，论文详细论述了存储层的设 计思想：从系统组成上来讲，存储层由两部分构成，d i r e c t o r 和a g e n t 。论文给 出了他们的总体设计，包括他们的主要功能类和他们的工作流程。 论文的第六章就存储系统设计中的一些关键问题进行了分析与讨论，并设计 了解决的方法，主要包括因为磁带的顺序读写性而以引入的存储调度策略和面向 对象的存储。为了降低系统的总体成本，引入了离线管理的思想及实现方法。分 布式系统要考虑的负载均衡同样是本文需要考虑的问题。用于生产的系统要求合 理的对错误进行处理。为了减少人工干预，系统设计了一些节目自动化管理的实 现方法。存储系统通过接口层为外围系统提供服务，本文对接口层的功能进行了 规划和设计。最后给出了一些应用实例。 本文最终实现了一个分布式架构的存储系统，并在多个媒体资产管理系统项 目中应用，在实际应用中稳定可靠，取得了良好的社会和经济效益。 关键词媒体资产管理系统；存储系统；存储区域网；磁带存储 a b s t r a c t a b s t r a c t w t hm ed c v d o p m e n to f m eb r o a d c a s ta 1 1 dt e l e 、，i s i o i nd e c a d e s ，u i l i t ss u c ha sm e t 矿s t a 矗0 1 1 a r 血v e s ，e t c h “ea c c u m u i a t c di a 略eq u a l l 矗在e so fa u d i oa 芏l d 埘d 。o m a t e r i a l s t h e s ep r e c i o u sm a 蜘a l sf 如e 廿1 ed i m c u l t yo fm a i l a g e m e ma r l du s e ，i n a d d i t i o nn l e 仃a d i t i o n a lp r o 黟a mu s em e t h o dr e s 扛i c tt 1 1 ed e v e l o p m c n to f t h et vs t a 廿o n t o o i no r d 盯t os o i v et h e s ep r o b l e m s ，m e d i aa s s e t sm a n a g e m e n ts y s t c ma r i s e si 1 1 r e c e my e a r s 1 1 1 i sp a p c rb r i e ft oi n n 们u c e dm e d i aa s s e t sm a n a g e m e n t l sc o n c e p t ，m er e a s o no f d e v e l o p m e n t ，c u h 蜘ts i t u a t i o na n di t sw h o l es y s t e ms 仃u c t i l r e d i s c u s s e dm es t o r a g e s p o s i t i o n 趴df 1 1 1 1 c t i o ni nm e d i aa s s e t sm a l l a g e h l e n t ，a n di n 廿o d u c e dm ec o n c 印to f s t o r a g em a n a g e m e n ta i l dh i e r a r c h i c a ls t o r a g em a i l a g e m e n t ( h s m ) h a si n 仰d u c e dt h e e v 0 1 u t i o no fs t o r a g em o d e l sa n dm ed e v d o p 血gh j s t o r yo fs t o r a g cn e t w o 也h a v e i m m d u c e ds e v e r a lk i n d so fc o m m o n l yu s e dm a g n a i l i m i t yt os t o r et h ea p p a 咖s e x p l a j nt 】1 es t o r a g es y s t e m sn m n i n ge n 、，i m 蛳衄t t h ee m p h a s e so fm i sp a p e ri s s t o r a g es y s t e m sd e s i g n i nm e d i aa s s 或s m a n a g 锄t i nt h i sp a r t ，t h ep a p e r 舀v e nt h eg l o b a ld e s i 口o fs t o r a g es y s t e m ：s t o r a g e l a y c ra i l di n t e r f a c el a ) t h ei n t e r 伍c el a y c rp r o v i d e dm es e r v i c et op 舐p h e 巧s y s t c m ， s t o r a g e1 a y e r 订a 1 1 s f 打d a t a a n a l y s em es t o m g en e t w o r k i ss t r u c t u r e ，l es t o r a g ei a y e r s m 衄m ge n v i r 0 衄e n ti sl a na d ds a n t h ep a p e ri nd c t a i li n 打d d u c e ds t o r a g e1 a y e r s d e s 咖廿l o u 出：t h es t o r a g e1 a y e r 舢i n t od i r e c t o ra 1 1 da g e n t t h ep a p e rp r o v i d e s m e i ro v c r a l ld e s i g n ，i n c l u d i n g 血e i rm a i nm n c t i o n sa n dm c i rw o r k n o w t h ec h a p t e r6o fm ep 印e rh a sb e c na n a l y z e da 1 1 dd i s c u s s e do ns o m ek e y p m b l 咖si nt h es t o r a g es y s t e l nd e s i g n ，a i l dd e s i g nt h em e m o dt os 0 1 v em e s ep r o b l e m s ， m a i l l l yi n c l u d es t o r a g ea t t e m p e rs t r a t e g ya n do b j e c t o r i e n t e ds t o r a g eb e c a u s eo f s e q u e m i a l硎t ea n dr e a d证 t a p e f o rr o d u c et h es y s t 咖st o t a lc o s to f o w n e r s h i p ( t c o ) ，p 印盯百v e nm eo f n i n em o u 曲ta n di 婶l 锄e n t a t i o nm e m o d t h e 1 0 a db a l a n c i n gt h a ts h o u l db ec o n s i d e r e di nd i s t r i b u t e ds y s t e mi ss h o u l db ec o n s i d e r d t i i 北京工业大学上学硕士学位论文 i n 吐1 i sp a p e rt o o 1 1 1 es y s t e mo f u s i n gf o rp r o d u c t i o nr e q u i r e sr a t i o n a ld e a l m gw i 血吐l c m i s t a l ( e h 1o r d e rt or e d u c em 柚u a li n t e r v c n t i o nt l l ep 印e rh a v ed c s i 印c ds o m e a u t o m a t i cm a i l a g 锄e i l tm e t h o d s t h es t o r a g es y s t e i np r 0 、r i d e ss e 州c cf o rp e r i p h c r a l s y s t c mt b m u 曲m ei m e 血c el a y e r ，t l l i sp 印c rh a sp l 砌e d 锄dd e s i 印e dt h e 胁c t i o n f o ri n t e r f a c el a y 既t h ep a p c rp r o v i d es o m ee x 觚1 p l e sf i n a l l y 1 1 1 i sp a p e rh a sb e e na c h i 州e dad i s 仃i b u t e ds t o r a g es y s t 锄a t1 a s t ，a p p l y 试al o to f m e d i aa s s e t sm a n a g e m e n ts y s t e mp r o j e c t s ，i ti sr e l i d b l et ob es t d yi np r a c t i c a l a p p l i c a t i o 工1 ，h a v em a d et h eg o o ds o c i e ya n de c o n o m i cb c n e 五t s k e y w o r d sm e d i aa s s e t sm a n a g e i n e i l t ；s t o r a g es y s t e n l ；s t o r a g ea r e an e t w o r k ；1 却e s t o r a g e 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成采，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 单 日期：r ，谬 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：恤导师签名：鳓日期：幽 第1 章绪论 1 1 课题的研究背景及意义 随着广播电视事业几十年的发展，电视台和资料馆等单位和其他行业积累了 大量的电视节目、电影、图片等资料，这些对社会发展有着重要意义的图文声像 复合媒体，是一笔不可复得的、极为宝贵的资产，如何更好地保存、管理和利用 这笔资产，是关系到各电视台、档案部j 、j 今后而坩社会、围家开展多种服务手段 的关键问题。长期以来，这些素材主要存储在传统模拟磁带上，这些模拟磁带的 容量有限，通常一盘磁带存放的节日不会超过两个小时，儿万小时的节目将占用 几万糯磁带，将占用大量的库房空间，使用时查找t 分困难，查找的困难导致交 流困难，一个电视台的节日微难和其他电视台共享，更严重的是这种磁带寿命很 短，人约为1 0 年，磁带复制时信号有衰减，这样经过多代复制，信号将持续衰 减，多年以后某些资料将永远消失。如何保存和充分利用这些宝贵的资料成为一 个急需要解决的问题。 随着计算机技术和视、音频压缩技术的发展，高速宽带计算机网络以及大容 量数据存储系统的出现为电视台视音频素材的网络化存储、数字化管理的实现提 供了可能。对声像档案的信息化管理需要主要集中在对大量声像带、电影、照片 等模拟资料数据进行数字化；数宁化后的数据经过格式转换成能满足标准的数 据；通过标引、著录工作使这些数据能够长时间、有系统的得到保存；通过先进 的计算机技术，使用户能对这些数据进行检索、查询，进一步提供借阅、下载等 业务，实现个完全数字化的资料档案信息化管理系统。声像带、电影、照片等 资料也就足我们通常意义上的媒体，针对这些媒体采用数字化、存储、管理、再 利用等手段，使这些媒体成为种真正意义上的媒体资产，这就是媒体资产管理 ( m e d i aa s s e lm a n a g e m e n t ，) ( 在下文中如无特殊说叫，简写为媒资，本 文是讨论媒体资产管理系统中的存储系统的研究与设计，在下文中如无特殊说 明，存储系统均指媒资资产管理系统中的存储系统) 【1 。 媒体资产管理系统建立后，首先解决了节目的k 期存储问题，节日数字化后 存放在数据流磁带、 ，这种磁带密度高、容量大，并且数字文件复制无衰减，町 存放在数据流磁带、 ，这种磁带密度高、容量大，并且数字文件复制无衰减，町 北京工业大学工学硕士学位论文 以永久保存，其次大大降低了运行成本，数字化后的媒体检索，管理，使用更加 方便。自动化程度的增加将大大减少需要的人员数量，再次提高了工作效率，所 有的内容都实现了计算机管理，可以方便而快速地得到，整个过程实行了数字化 的工作流程，没有了媒体传送和复制环节，大大减少了媒体信息从收集到发布所 用的时间。 由上可见媒体资产管理系统的研究对提高我国广播电视行业的现代化水平 有着重要的战略意义，不仅如此媒体资产管理系统还可以用于档案馆、资料库的 资料的保存与管理，可以大大降低这些部门的运行成本，并有效地提高工作效率， 特别是在电视台，效果就更加明显。节目制作、管理、播出数字化后，可以大大 减少播出的准备时间，特别是节目经过完整的编目处理以后，节目的查找更加准 确、快捷，以前查找一段资料需要几天时间，找到的还不一定准确，现在只需要 几分钟，速度提高了好几个数量级。另外编好的节目使用非常方便，对播出来讲， 播出前只需要编辑好节目单，系统会自动调度，将需要播出的节目上传到播出服 务器，实现自动播出。这种播出方式不仅操作简单，更重要的是，在这种播出方 式下，节目的准备时问非常短。传统电视台的运行模式是播出前根据节目单去库 房提取相应的磁带，然后运到播出现场，然后才能进行播出。媒体资产管理系统 建设后，将彻底扭转这种工作模式，用户只需要在计算机上编辑节目单，然后监 控节目的状态，等节目都上传到播出服务器即可实现稳定、安全、准确的播出， 大大节省了人工成本。在节目交流方面，需要什么节目，在计算机上检索一下， 然后直接下载即可，就可以避免先去库房取磁带，然后再复制一份这样繁琐的过 程。当需要搜集素材制作节日时，媒资系统的优势就更加明显，在媒资系统下可 以方便的检索，然后下载指定的片断，整个过程非常快捷。 在媒资系统中存储系统处于基础平台的地位，存储系统设计的成败直接影响 整个媒资系统的成败。如前所述，媒资系统的建设有着重要的战略意义，媒资中 存储系统的研究与设计的也就有着重要的战略意义。 1 2 国内外研究现状 媒体资产管理系统从理念到实践，从观望到认同已经经过了几年的时间，越 来越多的用户认识到多媒体声像资料数字化管理与再利用的时机已经成熟，开始 第l 章绪论 逐步进行实际的应用。在国外，由于起步较早，信息化程度较高，其中c n n 、 b b c 于2 0 0 0 年前后建立了媒体资产管理系统，在实际使用中，取得了不错的 效果。 目前国内的媒体资产管理系统的研究刚刚起步，以中央电视台为先导。国内 一些研究机构和系统集成商正在进行这方面的研究与设计，目前国内已经有几家 厂商有比较成熟的产品，也有了一些成功的应用。目前国内有大约三分之一的省 级台建设了媒资系统，在少数频道试验运行，部分市级台也建设了媒资系统，第 一个媒资项目的建设单位是中国电影资料馆，到现在已经有四年多的时间了，用 户在使用中收到了不错的效果。 总体来讲媒资系统属于新生事物，它的成熟度还不够高，特别是在存储方面 有许多值得研究与改善的地方。 1 3 主要研究内容 本文主要研究媒体资产管理系统中存储系统的研究与设计，首先论述了媒体 资产管理系统的体系结构以及存储在其中的地位，然后讨论了存储系统所在的网 络结构，其中牵扯到存储模型的发展、存储设备、存储管理与分级存储。 本文重点讨论了存储系统的设计，系统所在的网络结构，系统的组成及体系 结构和运行方式。并对存储中遇到的一些关键问题进行了详细设计，其中包括面 向线性读写磁带的调度策略、面向对象的存储，磁带的离线管理，多个a g e n t 之间的负载平衡，以及系统对错误和异常的处理，最后介绍了系统对于自动化策 略的考虑与设计。 1 4 论文组织结构 本文按照以下的组织方式来介绍媒资中存储系统的研究与设计，以及设计过 程中要考虑的重点问题。 第2 章媒体资产管理系统的体系结构 在这一章中，详细介绍了媒体资产管理系统的体系结构：媒资系统可以分为 三个部分，首先是节目制作，论述了数字化节目的制作途径以及节目的存储格式， 其次是节目的存储，介绍了数字化后节目的存储方式及特点，最后介绍了节目的 北京工业大学工学硕士学位论文 使用环节，介绍了节目数字化后的使用途径及带来的好处。 第3 章存储在媒资中的地位及存储管理现状 本章首先介绍了存储系统在媒资中的地位与作用，讨论了存储管理的现状， 并就分级存储管理进行了详细的讨论，讨论了在线、近线和离线的概念，以及分 级存储的必要性和主要优点，最后讨论了分级存储的思想。 第4 章存储体系结构的发展与挑战 在本章中，介绍了存储网络的发展过程，主要有d a s 、n a s 和s a n ，它 们各自的特点和适用范围，描述了媒资中存储系统所选择的存储网络的类型及依 据。并介绍了常用的几种海量存储设备。 第5 章媒资巾存储系统的设计 本章是本文的重点，完整介绍了媒资中存储系统的设计过程与重要的设计思 想。首先给出了存储系统的总体设计：由存储层和接口层构成，然后讨论了存储 系统所在的网络架构，根据实际使用的特点，最终确定存储系统所在的网络结构 为以太网和存储区域网的双网架构。根据所在的网络结构和存储设备的特点，最 终确定了存储层的体系结构：由一个d i r e c t o r 和多个a g e l l t 构成，系统详细设计 了d c t o r 和a g e t 的组成结构，他们的主要功能类构成及结构和他们的工作流 程。d i r e c t o r 和a g e n t 之间通过网络通讯来协同工作，本系统使用a c e 来作 为中间件进行网络通讯，论文介绍了a c e 的基本概念及应用到的模式，并论述了 a c e 的使用情况。由于牵扯到物理设备的控制，又讨论了目前两种常用的开发模 式及它们各自的特点。并确定了以i b mt i v o hs t o r g a e m a n a g e r ( t s m ) 为开发平 台。 第6 章媒资中存储系统设计中的若干关键问题 本章讨论了在存储系统设计中的一下关键问题，以及他们的解决思路。由于 磁带是线性读写的，并且磁带机的加载和倒带很慢，为了提高系统的效率、降低 设备的磨损，设计了一种适合线性读写介质的存储调度策略。为了方便磁带离线， 本文对属于一个节目的多个文件在磁带上的组织结构进行了讨论，提出了面向对 象的存储思路。由于磁带库的容量有限，为了方便系统扩充，设计了离线管理的 概念与方法。针对系统的特点，引入了负载平衡的概念，并给出了解决方案。考 虑到这是一个用于生产的商用系统，系统加强了错误处理。由于节目的需求是多 第1 章绪论 方面的，为了满足素材搜集，系统提供了片断下载的功能。存储系统作为媒资系 统的一个重要组成部分，不能单独存在，为了方便的与媒资中的其他系统进行交 互，系统提供了丰富的对外接口。为了提高系统的可用性，减少人工干预，系统 提供了一些自动化的管理功能，在一定范围内可以实现自我维护。最后蜕明此系 统是一个实际使用中的商用系统，并列举了一部分应用此系统的媒体资产管理系 统项目的例子。 第2 章媒体资产管理系统的体系结构 第2 章媒体资产管理系统的体系结构 媒体资产管理系统由三个部分组成：节目制作，存储和节目的使用。内容管 理包含在各分系统中，节目制作解决数字化节目的来源问题，一般包括卫星收录， 节目采集，和直接的数字化节目制作，由于数字化后的节目将占用大量的存储空 间，如何灵活有效的存储，并尽量降低成本是存储系统要解决的问题，节目的使 用就比较多样了，既可以直接用来播出，还可以用来再编辑，还可以方便的用来 交换。图2 一l 描述了媒体资产管理系统的最终目标。 图2 1 媒体资产管理系统的最终目标【1 1 】 f i g u r e2 一lt h ef i n a li n t e n t i o no fm e d i aa s s e t sm a n a g e m e n ts y s t e 【1 1 】 2 1 节目制作 媒资系统处理的对象是数字化后的视音频文件，在进行数字化节目制作前， 需要选择合适的压缩格式，所选择的压缩格式需要满足如下几个要求：保证足够 好的图像质量，尽量减小文件的码率，码率越高意味着存储成本的增加。另外一 个由于节目的用途不同：有用于编辑的，用于播出的和用于浏览的，对这些应用 要使用不同的压缩格式。另外还要保证压缩格式的通用性，杜绝使用厂商的私有 格式，以防厂商形成垄断，保证节目的安全。 北京工业大学工学硕士学位论文 目f 狩在媒资行业广泛使用m p e g 格式，其中编辑和播出使用m p e g 2 。浏览 使用m p e g 4 。 m p e g 2 的编码图像被分为三类，分别称为i 帧，p 帧和b 帧。i 帧图像采 用帧内编码方式，即只利用了荸帧图像内的空间相关性，而没有利用时间相关性。 p 帧和b 帧图像采用帧间编码方式，即同时利用了空间和时间上的相关性。p 帧 图像只采用前向时间预测，可以提高压缩效率和图像质量。p 帧图像中可以包含 帧内编码的部分，即p 帧中的每一个宏块可以是前向预测，也可以是帧内编码。 b 帧图像采用双向时间预测，能够最大限度地去除图像中的冗余信息。 在媒资系统应用中一般使用m p e g 2 全i 帧格式进行编辑，码率一般是 5 0 m b s ，使用m p e g 2i b p 帧进行播出，码率一般为4 5 6 om b s ，在线浏览 一般使用的码率为3 0 7 0 0 k b s ，压缩格式一般为m p e g - 4 。 在节目制作环节，数字化的节目一般有三种来源：一种是对模拟磁带进行数 字化，这个过程称之为采集，这是有一定积累的电视台的节目的主要来源；另一 种就是直接收录卫星信号，转换成需要的格式；再就是最近制作的数字化节目， 现在节目的制作已经实现了数字化，将制作的节目经过非编网进行编辑，添加字 幕，特技等效果制作而成。其中采集工作是十分耗费时间的，一般的采集时问与 节目时常比例为1 ：l ，即十万小时的节目需要十万小时才能采集完成。节目数 字化后，还要根据节目的用途将其转换成符合要求的格式，这个过程称之为转码。 2 2 节目存储 媒体资产管理系统管理的是数字化后的视音频资料，如前所述，为保证节目 质量，这些文件的码率都非常高，如果节目用于编辑则需要使用5 0m b s 的 m p e g 一2 全i 帧格式，则存储一小时的节目大约需要2 2 5g b 的空间，如果节目 用于播出则需要使用4 5 6 m b s 的m p e g - 21 b p 帧格式，存储一小时节目大约 需要2 o 2 7g b 的空间，经过几十年的积累，一般的省级电视台都会积攒下 几万小时的节目，这些节目全部数字化后，按照2 og b 小时计算，一万小时节 目也将使用2 0 t b 的存储空间，可见在媒资系统中，节目存储是一个必须要解决 的问题，既要满足存储量的需要，又要尽量降低成本，并保证足够高的响应速度。 要解决存储问题，有两个问题需要解决，首先是网络结构的选择，目前在电 第2 章媒体资产管理系统的体系结构 视台内部，一般都建立起了以太网，来进行业务的处理，还有的建立了非编网， 进行节目编辑制作，这些网络都有专用的用途，另外以太网难以满足如此巨大数 据量的传输，考察当前流行的网络存储技术，一般在应用中使用存储区域网 ( s t o r a g ea r e an e t w o r k ，s a n ) 来作为节目存储系统的网络结构平台。下文将 详细介绍d a s ，n a s ，s a n 这几种存储网络结构的特点和优缺点，来解释选择s a n 的原因。 其次是存储介质的选择，目前流行的存储介质主要有磁盘，光盘和磁带三种， 由于媒资系统中需要存储的数据量过于庞大，单纯使用磁盘既不经济又不可能， 一般使用同时使用多种存储设备，构建多级存储系统，经常使用的文件放在在线 速度快的介质上，不常使用的放在速度慢但容量大的存储介质上。为了保证数据 的可靠性，一般使用磁盘阵列( r a d ) 作为在线设备，磁盘阵列提供了数据冗 余机制，在单个磁盘失效时不至于丢失数据，r a i d 有多种级别，一般选用r a d 5 ，一般选用磁带库作为近线存储设备，磁带具有存储容量大，可靠度高，寿命 长等优点，适合作为近线设备使用，我们可以选取磁带库中使用频度低的磁带， 将其取出磁带库，保存到磁带密集架中，当使用时再重新装入到磁带库中，通过 这种方式，我们实现了离线管理，由于磁带的体积很小，通过这种方式，存储系 统的容量几乎可以无限扩展。 2 3 节目使用 数字化后的节目的用途是多方面的，可以直接用来播出，也可以方便的用来 交换，还可以用作视频点播。其中播出是最主要的用途。 数字化播出与传统播出相比有很多优势，最明显的就是：准备时间大大缩短， 播出的精度大大提高，传统模拟播出首先需要人工根据播出单在库房中提取相应 的磁带，然后运到播出现场，费时费力，而使用数字视频广播( d i g i t a lv i d e o b r o a d c a s t i n g ，d v b ) 播出后，则可以使用计算机来编辑节目单，然后系统根据 节目单自动下载所需要的节目，自动上传到播出服务器，进行自动化播出。 2 4 本章小结 本章对媒体资产管理系统的总体结构进行了说明，媒体资产管理系统分为节 北京1 ：业大学工学硕十学位论文 目制作、存储、使用三个部分，其中存储处于基础平台的地位。本章简单介绍了 媒资中存储系统的特点，并引出了分级存储的思想。下一章讲详细讨论存储在媒 资中的地位和存储管理的有关概念、讨论分级存储系统的有关概念。 第3 章存储在媒资中的地位及存储管理现状 3 。1 存储在媒资中的地位和作用 在媒资系统中，系统的操作对象是数字化以后的视音频资料，管理和存储这 些资料成为媒资系统中最重要的任务，只有有效的保存和管理好数据，数据才有 可能充分方便的利用，实现其应有的价值。 媒资系统中，数据的入口来自甘目制作，其中包括卫星收录、节目采集和非 线性编辑网，所有的数字化后的节目都要【曲存储系统保存维护为节日提供信息 交换平台，数据的用途一般足节目播出、节日交流和视频点播等，对档案馆来讲， 所有的节目都需要长期保存，节日的存储显得更加重要。如图3 - l 描述了存储 系统在媒资系统中的地位 视频点播 图3 1 存储系统在媒体资产管理系统巾的地位 f i g u r e3 - lt h ep o s “i o no f 也bs t o r a g cs y s t c mi nm e d i aa s s e 拓m a a g 锄e n ts y s t e m 构建一个稳定、高效、强大的存储系统对媒资系统来讲具有重要的意义，只 有存储系统构建好了，媒资系统前端所制作的节目才能安全高效的存储起来，后 端应用才能快速准确的找到需要的节目，媒资系统才能正常运转，媒资系统作为 端应用才能快速准确的找到需要的节目，媒资系统才能正常运转，媒资系统作为 北京t 业人学工学硕士学位论文 电视台基础信息平台的作用才能体现。另外在媒资系统建设过程中，存储系统要 存储数百t b 的数据，需要使用到磁带库等海量存储设备，所以存储系统的投 资相当高，在媒资系统总投资额中占相当高的比例。特别是在资料馆之类的应用 中，由于系统的入口和出口都相当简单，存储系统的投资占用总投资额的比例将 更高。 由上可见，存储系统在媒资系统中相当重要，在媒资系统中处于基础平台的 地位，所有的节目都由它来保存，当需要时再由它提供，它为整个媒资系统提供 了信息交换的平台，是整个媒资系统应用的基础。 3 2 存储管理现状 媒资中的存储系统管理着数百t b 的数据，并且这些数据存储在s a n 上的 存储设备中，需要一种适合媒资行业的存储软件来管理这些数据。s a n 网有其 独特的特点，其中牵扯到存储管理的概念。 存储管理的出现是为了解决存储网络系统管理的问题，存储管理是指集中管 理所有存储系统中的各种设备，它一般通过存储管理软件来实现。存储管理一般 包括以下这些功能： 管理光纤通道交换机、集线器等存储网络设备。保证数据能在网络中正 常流动。 存储设备的设置管理，是指管理存储设备，如磁盘、磁带等。 存储区域网络拓扑结构和成员自动发现，是指自动发现光纤通道网络的 拓扑结构，和网络中新成员例如交换机等的加入或现有成员的离开。 存储系统性能监控，监控存储i 删络系统的数据利用率、数据传输速度等 指标。 事件记录和通知，将存储网络中发生的事件记录在日志中，如果某些系 统指标超出警戒线，发出通知给管理人员。 最初的存储管理软件是由生产存储网络系统硬件的厂商提供的，而且一个厂 商提供的管理软件往往只能管理它所生产的硬件设备。因为企业的存储网络系统 往往包含多个厂商的产品，管理这种存储网络系统就需要多个厂商提供的不同的 存储管理软件。这些互不协调的存储管理软件使管理工作变得很困难。为了解决 第3 章存储在媒资中的地位及存储管理现状 这个问题，存储网络工业协会( s t o r a g en e t v v o r ki n d u s t r i a la s s o c i a t e ，s n | a ) 于2 0 0 0 年推出了一个存储管理标准，目前大部分存储产品的厂商都遵循这个标 准，其中v e n t a s 公司的s a n p o i n lc o n t r o i 软件是市场占有率最高的产品，它 可以管理绝大部分厂商的存储设备，几乎成为独立存储管理软件的默认标准。除 此之外，比较有影响的还有h p 的0 p e n v i e w 存储区域网管理软件，i b m 的 t i v o 存储管理软件。 另一类存储管理软件是备份和灾难恢复软件，主要产品有v e r i t a s n e t b a c k u p ， l b mt i v o s t o r a g em a n a g er ，l e g a t on e t w o 馆r ，h po p e n v i e w d a t ap r o t e c t o r 等，但是它们的主要用途是用来备份数据，进行灾难恢复，而且 这些软件和复杂又过于专业，普通人员难以使用，另外，它们不适合广电行业的 数据存储的特殊需求。 如上所述，目前市场上存在一批成熟的存储管理软件，但没有适合媒体资产 管理系统特点的存储管理软件，因为在媒资系统中，存储系统不仅要管好海量数 据，更重要的是它必须提供对外的接口，满足整个媒资系统流程的需要，这样的 软件更没有现成的产品，需要自己开发。 3 3 分级存储系统 我们所构建的这套存储系统主要完成数据在不同存储设备之间的迁移：当数 据不使用时迁移到慢速的磁带库中，使用时再从磁带库中迁移到快速的本地盘阵 上，或用户指定的位簧，这种思想就是分级存储管理思想。首先来了解一下分级 存储中所涉及的三种存储方式：在线、近线、离线9 1 。 3 3 1 三种存储方式 所谓分级存储，就是根据数据不同的重要性、访问频次等指标分别存储在不 同性能的存储设备上，采取不同的存储方式。这样一方面可大大减少非重要性数 据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。 目前常用于数据存储的存储设备主要有磁盘( 包括磁盘阵列) 、磁带( 包括 磁带机和磁带库) 和光盘( 包括一切c d r 、c d r w 、d v d r 、d v d r w 等光 北京工业大学工学硕+ 学位论文 盘塔和光盘库设备) 。从性能上来说，磁盘是最好的，光盘次之，最差的是磁带。 而从价格上来说，单位容量成本上磁盘最贵、光盘次之，磁带最低。这就为我们 不同的应用追求最佳性价比提供了条件，因为这些不同的存储媒介可应用于不同 的存储方式中。这些不同的存储形式包括在线存储、近线存储和离线存储。 1 、在线存储，在线存储又称工作级存储，存储设备和所存储的数据时刻保 持“在线”状态，是可随意读取的，可满足计算平台对数据访问的速度要求。如 我们p c 机中常用的磁盘基本上都是采用这种存储形式的。一般在线存储设备为 磁盘和磁盘阵列等磁盘设备，价格相对昂贵，但性能最好。 2 、离线存储，离线存储主要是用于对在线存储的数据进行备份，以防范可 能发生的数据灾难，因此又称备份级存储。离线海量存储的典型产品就是磁带或 磁带库，价格相对低廉。离线存储介质上的数据在读写时是顺序进行的。访问是 慢速度、低效率的。 3 、近线存储，所谓近线存储，就是指将那些并不是经常用到，或者说数据 的访问量并不大的数据存放在性能较低的存储设备上。对这些的设备要求是寻址 迅速、传输率高。因此，近线存储对性能要求相对来说并不高，但由于不常用的 数据要占总数据量的大多数，这也就意味着近线存储设备首先要保证的是容量。 在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较 低的数据，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常访问的重 要数据。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问 的数据自动迁移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁 访问的数据，可以获得更好的总体性价比。 3 3 2 分级存储的必要性和主要优点 现在企业的数据中心非常复杂，数据保护非常关键。但是，并非所有的数据 都具有同样的价值，也并非所有的企业都具有同样的需求。通常认为企业中的关 键和非关键数据量也符合“二八原则”：就是只有2 0 的关键数据，而8 0 都 是非关键的。系统中6 0 至8 0 的数据经常在一个月，甚至一年中都不会被访 问。而在经常访问的数据中，重要性差别也十分突出，有的数据与用户的业务联 系紧密，可靠性、可用性及性能要求都很高，有的尽管经常使用但是与业务联系 第3 章存储在媒资中的地位及存储管理现状 不是特别紧密。般来说，重用数据的使用概率自数据创建3 天之后就会下降 5 0 ，当数据创建3 0 天后，重用的概率通常会降至很低，而高达9 0 的数据超 过9 0 天后就不会或很少被读取。为了提供良好的数据保护，i t 部门通常都保留 巨大的空余空间，用以防止出现容量不足的现象。采取分级存储，它既能最大限 度地满足用户可以随时访问所有需要经常使用的数据，又可以使存储成本最小 化。综合起来，可以得出分级存储主要优点： 1 减少总体存储成本，在传统的在线存储中，所有数据都存储在一线磁盘 存储设备上，而由于绝大多数数据的访问率并不高，占住了火量宝贵的磁盘空间。 如果把这些数据转移至4 存储性能稍低的磁盘( 如i d e 或s a t a 接口磁盘) 或光 盘存储设备上，存储成本可得以大幅降低。 2 提高整体系统性能，由于绝大部分数据转移到下级存储设备上，那需要 时刻保持在线的数据就少了，系统资源的占用也就少了许多，整体系统性能自然 也就提高了。如果采用了离线存储方式对很少使用的数据保存在像磁带这样的离 线存储媒体上时，则不仅可提高系统性能，还可确保数据的安全性。 3 ，3 3 分级存储管理 分级存储管理( h j e r a r c h i c a ls t o r a g em a n a g e m e m ，h s m ) 就是要将用户拥有 的所有存储资源统一管理，提高每种存储设备的利用率，以节约成本。 分级存储管理起源于1 9 7 8 年，首先应用于i b m 的大型机系统。近2 0 年来， h s m 被广泛应用于开放系统的u 面x 和w i n d o w s 平台。其中最关键的技术就是 近线存储和数据迁移技术。 分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量 的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中不常使用的数据按 指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据 时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对 于用户来说，上述数据迁移操作完全是透明的，只是在访问速度稍有降低，但在 逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一种可以把大量 不经常访问的数据存放在磁带库、光盘库等离线介质上，只在磁盘阵列上保存少 量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动地把 北京工业大学工学硕士学位论文 这些数据回迂到磁盘阵列中；同样，磁盘阵列中很久未访问的数据被自动迁移到 磁带介质上，从而大大降低投入和管理成本。图3 2 描述了分级存储管理的思 想 3 4 本章小结 图3 2 分级存储管理思想 f 畦 u r e3 2 h i e r a r c h i c a ls t o r a g em a n a g e m e n t 本章描述了存储系统在媒资系统中的地位和作用，并简单介绍了存储管理的 现状：目前市场上存在不少存储备份软件，但是没有适合媒资行业的现成产品， 而存储在媒资中又占有十分重要的地位，指出开发媒资中存储系统的重要意义与 必要性。然后讨论了分级存储系统的思想和分级存储管理。下一章将介绍存储网 络体系结构的发展历史与主要的海量存储设备。 第4 章存储体系结构的发展与挑战 第4 章存储体系结构的发展与挑战 4 1 存储模型的发展 近十年来，由于互联网技术及其应用所推动的企业全球化，以及计算机技术 多方面的发展，人们对数据存储的需求发生了巨大的变化，伴随着这种需求的变 化，存储系统模型也经历了几个阶段的发展，这些存储模型包括内嵌式存储系统、 直接存储系统、网络附属存储系统以及存储区域网络等m 。 4 1 1 内嵌式存储系统 内嵌式存储系统( e m b e d d e ds t o r a g e ，e s ) 就是把存储器件内嵌到服务器中，比 如我们熟悉的的p c 硬盘就是这种模式，其优点是简单易用，缺点是每个服务器 只能包含有限数量的存储器件，而且存储容量和存取速度也受到服务器性能的限 制，另外，如果服务器出现故障，其内嵌的存储系统也随之变为不可用。这对于 可靠性要求很高的商业应用来讲，是一个致命的缺陷。广义上讲，内嵌式存储系 统是下面要讨论的直接存储系统的一个特例。 4 1 2 直接存储系统 与内嵌式存储系统不同，直接存储系统( d i r e c ta t t a c h e ds t o r a g c d a s ) 采用 独立的外接式存储设备( 如r a dj b o d 等) 并通过标准接口技术( 如s c s i ) 与服务器连接。将对存储器件的读写操作从应用服务器中分离出来，以及高速接 口技术在一定程度上提高了总体存取速度。存储设备可以与多个服务器连接，如 果其中一个服务器出现故障，仍可以通过其他服务器来存取数据，如图4 一l 所示 北京工业大学i ：学硕士学位论文 图4 1 服务器共享d a s 设备“u j f i g u r e4 1d i r e c t a t t a c h e ds t o r a g e ( 1 。j 在巨大的存储容量需求出现之前，d a s 满足了大部分系统的要求，但是， 当系统中不断加入新的存储设备以满足日益增长的数据量时，如何对d a s 设备 进行有效的管理成为令系统管理员头疼的问题。由于对每个d a s 设备的访问只 能通过数量非常有限的服务器来进行，当很多用户同时对一个存储系统进行大量 的数据访问时，相应服务器的性能和数据存取速度都将会受到很大的影响。 4 1 3 网络附属存储系统 网络附属存储系统( n e 船o r ka t t a c h e ds t o r a g e ，n a s ) 是在大家意识到d a s 的局限性的情况下应运而生的。n a s 把数据看作一种网络资源，并由一种称为 n a s 设备的专用器件来管理。与d a s 相比，其明显区别在于n a s 设备是直 接连接到网络上而不是服务器上的，如图4 2 所示 第4 章存储体系结构的发展与挑战 图4 2 网络附属存储系统结构 1 0 】 f i g u r e4 2n e 研o r ka t t a c h e ds t o r a g e 【1 0 把数据从服务器中分离出来减少了数据管理上的许多问题。n a s 设备有自