（计算机系统结构专业论文）附网视频存储服务器的研究与设计.pdf

华中科技大学硕士学位论文 摘要 附网存储技术是目前发展最为成熟的，应用也最为广泛的网络存储技 术。附网视频存储服务器应用了附网存储技术，针对视频资料的特点，为其 存储和共享使用提供了基于网络的解决方案。 在对存储体系结构和附网存储技术进行分析的基础上设计的附网视频 存储服务器，其操作系统选择的是源代码公开的l i d u x 操作系统，为了提 高整个系统的性能和安全性，减少系统所占用的空间，对l i f l u x 系统进行 了裁剪，仅仅保留了使服务器完成任务所必须的部分。双光驱自动镜像的 实现，将光盘视频资料自动镜像到硬盘上，用户可直接访问附网视频存储 服务器中的镜像文件，不必再访问光盘，这大大提高了访问速度，也解决 了资料的共享问题。由于视频资料一般都要占用很大的存储空间，在 m p e g 一1 编码和解码的基础上，系统对视频资料进行了压缩，使服务器可以 存储更多的视频资料，这也减少了传输所占用的网络带宽。 系统采用基于w e b 的管理方式，使得管理和维护非常方便；附网视频 存储服务器通过s a m b a 技术实现了w i n d o w s 用户对共享数据的访问。系统 的安全性主要是由安全套接层协议保证的。 在存储服务器基础上设计的附网视频服务器，提供了视频点播服务。主 要是应用了许可控制，缓冲替换，磁盘i o 调度等的设计，使服务器的性能针 对视频点播的特点进行优化。 关键字：网络存储，附网存储，视频存储服务器，镜像 i i 华中科技大学硕士学位论文 一= = = 目= = = = _ _ g = = = = = ；= = = ；= # ；= = ； a b s tr a c t n e t w o r ka t t a c h e ds t o r a g e ( n a s ) t e c h n o l o g y i st h em a t u r en e t w o r k s t o r a g et e c h n o l o g ya n dh a st h e w i d e s ta p p l i c a t i o n n e t w o r ka t t a c h e dv i d e o s t o r a g es e r v e ra p p l i e d n a s t e c h n o l o g yp r o v i d e sas o l u t i o nb a s e d o nn e t w o r k f o rv i d e os t o r a g ea c c o r d i n gt ot h ef e a t u r eo fv i d e od a t a t h en e t w o r ka t t a c h e dv i d e os t o r a g es e r v e ri sd e s i g n e db a s e do nt h e a n a l y s i so fs t o r a g ea r c h i t e c t u r ea n dn e t w o r ka t t a c h e ds t o r a g e t h eo p e r a t i n g s y s t e ms e l e c t st h el i n u xs y s t e mb e c a u s e i t s o p e n s o u r c ec o d e i no r d e rt o i m p r o v es y s t e mp e r f o r m a n c ea n dt h es e c u r i t y ，t h el i n u xs y s t e mm u s tb ec u t t oa s y s t e mo n l yp r o v i d e t h en e e d e d f u n c t i o n ，u s i n g d o u b l ec d r o m a u t o m a t i cm i r r o r i n g ，t h es e r v e rm i r r o r sv i d e od a t ao nc dt ot h eh a r dd i s k t h e c l i e n tt h e na c c e s st h ed a t ao nh a r dd i s kd i r e c t l ys ot h ea c c e s ss p e e di sh i g h e r t h a nc da n dt h ed a t ac a ns h a r ei nt h en e t w o r k 。b e c a u s eo ft h ed a t ac o m p r e s s b a s e do nt h ec o d i n ga n dd e c o d i n go fm p e o * 1 ，t h es e r v e rc a ns t o r a g em o r e d a t aa n dt h en e e d e db a n d w i d t hi sl o w e r t h es y s t e mu t i l i z e st h em a n a g e m e n tm o d eb a s e do nw e b 。w i n d o w sc l i e n t c a na c c e s ss h a r e dd a t at h r o u g ht h es a m b at e c h n o l o g y t h es e c u r i t yi sp r o v i d e d b ys e c u r es o c k e t sl a y e rp r o t o c 0 1 n e t w o r k a t t a c h e dv i d e os e r v e rb a s e do nt h es t o r a g es e r v e rc a np r o v i d e t h ev o ds e r v i c e t h em a i n d e s i g n i n c l u d e sa d m i s s i o nc o n t r o l l i n g ，b u f f e r r e p l a c i n g ，d i s ki 0s c h e d u l i n gi no r d e r t oi m p r o v es y s t e mp e r f o r m a n c e k e yw o r d s ：n e t w o r k i n gs t o r a g e ，n e t w o r ka t t a c h e ds t o r a g e ( n a s ) ，v i d e o s t o r a g es e r v e r ，m i r r o r l i 华中科技大学硕士学位论文 1 绪论 本章首先介绍了存储技术的现状和发展，研究了提高存储系统性能的 几种途径，分析了网络存储技术的现状与高速互联技术的发展，给出了本 课题的研究目的和意义。 1 1 计算机外存储技术的现状 1 1 1 传统的计算机存储体系结构 在计算机体系结构中，存储设备，如寄存器、高速缓存、主存储器、 磁盘设备和磁带机通常都是如图i 1 那样按层次组织的。较低层存储设备 与较高层的相比，其存取速度较快、容量较小、每字节成本较高、带宽较 宽、传输单位较小【1 1 。 图i i 计算机系统存储层次结构图 寄存器和高速缓存是装在处理器芯片或处理器板上的处理器整体的一 部分。寄存器传送的操作在指令译码之后由处理器直接控制。寄存器传送 是按处理器速度进行的，通常是在一个时钟周期之内完成的。主存储器有 时叫做计算机系统的基本存储器。通常它要比高速缓存大得多，并且是用 性价比较好的r a m 芯片实现。磁盘驱动器被看作是最高层的联机存储器。 它保存系统程序，例如操作系统、编译器、某些用户程序及其数据集。磁 华中科技大学硕士学位论文 带机是脱机存储器，它保存当前的或过去的用户程序副本和处理结果以及 其它文件。 1 1 2 存储体系结构的发展 早期的计算机结构是高度集中的，由于硬件价格昂贵，需要共享主机， 组成了以主机为中心的计算机系统。用户通过终端共享主机资源，硬盘、 打印机和磁带驱动器等作为主机的外设，由主机统一管理和调度。当用户 要访问这些外围设备时，需要向主机提出申请，主机从外设中读出所需要 的数据，再传送给用户。 传统的存储体系都是以服务器为中心。存储设备通过i o 总线与服务 器相连。客户机的数据访问必须通过服务器，然后经过其i o 总线访问相 应的存储设备，服务器实际上起到了存储转发的作用。当客户连接数增多 时，i o 总线成为一个潜在的瓶颈，会影响到服务器功能，严重情况下甚 至会导致系统的崩溃。一旦服务器出现故障，信息资源也将被埋葬在崩溃 的服务器之中而不可用，目前这种以服务器为中心的存储方式已不能适应 来自应用的越来越高的要求。 随着计算模式从集中式转变为分布式，特别是客户机服务器模式的 采用，对共享存储器的要求变得更加迫切。服务器与存储设备的传统连接 方法是服务器到存储设备之间通过总线相连接，比如采用s c s l 总线。以发 展的眼光来看，这不论对连接密度还是服务器和存储设备之间带宽的扩展 都是一种严重的限制。 图i 2 存储体系结构的发展 一 2 华中科技大学硕士学位论文 图1 2 说明了存储设备是如何从以主机为中心的结构转化为以网络为 中心的结构。最终，文件系统能够从应用服务器中分离出来，向其真正需 要的地方，即存储系统靠得更近，应用服务器通过更快更有效的拓扑与文 件系统和r a i d 系统连接起来，将实现像无限的可扩展性、更好的接入性、 文件的易恢复性、跨平台的数据共享和灵活的网络拓扑等好处 2 1 。网络存 储技术打破了传统的存储设备和计算机之间的联系方式。它将存储设备从 网络中分离出来，使存储设备成为网络的对等体。 1 2 提高存储系统性能的途径 1 2 1 改进磁盘驱动器 基本的存储设备是磁盘驱动器。对磁盘驱动器来说，存取时间主要包 括寻道时间、旋转等待时间和数据传输时间。因此，可以通过减少这三项 时间来改善磁盘驱动器的总的响应时间p j 。 为了寻找到数据所在磁道，磁头必须来回移动，包括加速阶段，匀速 运动阶段，减速阶段和定位阶段，即磁头经历了速度从零到最大再到零的 过程。寻道时间是指磁头驱动机构移动磁头到相应磁道所需要的时间。减 少寻道时间的技术有：减少头臂组件质量，加大驱动机构电流，改进伺服 及控制方法等。高性能磁盘驱动器的平均寻道时间已降到1 0 m s 以下。 旋转等待时间是等待盘片旋转到磁道上目标数据块开始位置的时间。 当盘片以7 2 0 0 转m i n 旋转时，旋转一圈为8 4 m s ，则平均旋转等待时间为 4 2 m s 。 磁盘的数传率是磁盘线性记录密度和转速的乘积，提高数传率及降低 旋转延迟的重要手段是提高磁盘主轴的转速，磁记录密度的增加也同时提 高了磁盘驱动器的内部数据率。存储密度的增加来自于两个方面的改进， 第一个是更好的线记录密度，由最大的能记录和读取的速率决定；第二个 是更小的磁道密度，使相邻的磁道靠得更近。这两方面的改进使存储密度 每年增加6 0 以上。提高磁记录密度的主要方法有磁阻磁头，巨磁阻磁头， 一_ 华中科技大学硕士学位论文 p r 扎( p a r t i a lr e s p o n s em a x i m u ml i k e l i h o o d ) 等f ”。磁盘的转速也有缀大 撼高，5 。4 0 0 r p m 、7 ，2 0 0 r p m 、i 0 ，0 0 0 r p m 都门经很常见。 - 1 。2 。2 磁盘阵列技术 近几年以来，磁盘容擞在飞速增长，从最初的几十m 发展到如今的几 卡g 甚至死吾g ，瞧是峦予磁盘本身戆稷援窖誊缝，磁盘戆速度在这些冬来 进展相对于c p u 速度的发展是缓慢的，仅仅猩逐步地提高。 在磁纛领域审穆褥上是一个羹程薅黪遴晨就愚廉价芄余磁盘簿裂 ( r e d u n d a n ta r r a yo fi n e x p e n s i v ed i s k s ) ，简称r a i d 。这种体系结构是 美国加州大学b e r k e l e y 分校的研究人员k a t z ，r h ，g i b s o n a 积 p a t t e r s o n ，d a 子1 9 8 9 年农p r o c e e d i n go ft h ei e e e 杂志上发表的高 性能计算的磁盘系统体系结构论文中提出来的改善外存储系统结构的重 要技术挣i 。 此项技术的主蒙思想魑使用多个并行的廉价磁盘构成冗余阵列来掇高 熬个系统瓣i l o 带宽驿】，势陡誊磁懿戆数霆壤长，r a i d 孛熬多今疆蠢麓戆 服务单个的逻辑i o 请求，也能支持多个并行的各自独立的i o 请求，因 聪能实现糍传输率奄高可纛性。透过将文 牛敷布到多个磁盘中，实瑗多个 磁盘的并发传输，以达到提高数据传输率与i o 率的目的 。r a i d 是由许 多个磁盘按一定规则，如分条( s t r i p i n g ) 、分块( d e c l u s t e r i n g ) 、交叉存 取( i n t e r l e a v i n g ) 簿，来备份数据、提高系统性能静i 鼢。 r a i d 的优点在于三个方面即可用性( a v a i l a b i l i t y ) 、容量( c a p a c i t y ) 疑缝缝( p e r f o 鞠8 n e e ) 。r a i d 蔹零瓣予存德系统静强娃有：邋过把多令磁 盘组织在一起作为一个逻辑卷提供磁盘跨越功能：通过把数据分成多个数 攒块 。t c p 协议怒一种 熬予数攒流酌资议，很难实瑷零拷强静语义。缺乏零拷爱不设瀵熬了数据 流静路径觳凄，霹辩逸灌鸯骛了c p u 豹受撵。凌于t c p 包霹戳跨越多个潋太 峻，i s c s i 鲍头部莘珏数据w 能跨越雾个以太帧，属于多个不棚关瓣i s c s i 清求熬数攒也霹裁董筝毙一个t c p 包蕊一嫠分戮这。絮暴媳害i s c s i 头部蕊 患的以太阕帧被损坏或失序到达，网卡需麟缓存随厝的以太帧誊掇包含 i s c s i 头粼傣感的以太啜姣到达 2 s i 。 i n f i n i b a n d 静献剜镬( q u e u ep a i r ) 秘远程壹接内存搽箨( r e m o t e d i r e d tm e m o r ya c c e s so rr d m a ) 技术允许威用程序遴避网络申请朔存取 内存资源，因两可以将来叁i b a 灏络接西卡能数据流囊按发送铡应阕禚穿 蠹存空麓，实瑗了零拷贝，鬻低了主梳c p u 静懑行受载。溺爱户程滓嚣簧楚 毽大耋懿数据戆，遴受7 圭梳成为熬令系统驰瓶颈。瘗予采焉不嚣瓣救零， 邋过内核地址空间与用户程序地址空间的映射，f i b r ec h a n n e l 协议的瞬 专霹磷实璐霉拷要【2 酏。 2 数据块的分解嗣组合开销 不同协议的数撂帧的大小楚不瞬。f i b r ec h a n n e l 协议峻戆太小是 2 嚣， n f i n i b a n d 褥议鲮大毒是4 k ，i s c s i 熬黻太霹谈大小是i 。5 ( 。尝褚 成用程序发送的块i o 请求包一般在4 k 到6 4 k 之闻。如聚存储皮用稷序发 送一个i o 请求传送一个8 k 大小的数据块，程发送端，邈个数疆块必矮震 掰努簿残，l 、豹谈，蓟逸嚣静麓惹，又努矮耋新缀合残8 ( 鹣数撵浃。考虑裂 一_ h _ 一 华中科技大学硕士学位论文 挠霉亍分解、缝合搽箨戆骏鼹运行齐镌，数据谈大懿协议要拢越予数据蛟，l 、 的协议。 是辩，i n f i n i b a n d 和f i b r ec h a n n e l 的阏卡本身弼以完成数据包救分 解和组合 2 7 i ，因而可以降低主机c p u 的负载。而i s c s i 采用的是通用的以 太网卡，t c p 数据包的分解和组合怒由主机米实现的，相对而言增加了主 梳的负担。 3 流爨控制及传输延迟 流量羧翻是播发送壤羧麓发送劐阚络上熬数据赖瓣速率。发送静瀵率 一般是接受端可用的缓冲区大小与置联的网络间可用的交换机、路由器数 爨熬函数。i n f i n i b a n d 秘f i b r ec h a n n e l 采建懿是基予发送诲霹的漉爨控 制机制，由数据的接受方给发送方分配发送许可，发送方只有在它还没有 用宠皇己的发送许可配额的时候才以继续发送。接受方根擐爨己的可用 缓冲区大小来决定怒否分配新的发送许可。 i s c s i 则采用t c p i p 协议的端到端的流量控制机制，以滑动窗口的方 式进行瀛羹控铡。发送窗盈农连接建波是由双方商定，毽在道德熬过耧巾， 接受方可根据自己的资源情况，随时动态地调整自己的接受窗口( 可增多 或减，l 、) ，然嚣告谗发送方，经发送方戆发送察墨帮鑫邑夔接受塞霜一数。 4 发现机制 在i n f i n i b a n d 的发现枧制孛，予鼹管理嚣发挥着荚犍静俸惩，子鼹骞 1 6 位的地城空间。每个子网篱理器管理一组i b a 设备，子网管理器查询该 子网中的所有i b a 设备并更新它的包含有激灞端口和路由信息的数据黪。 予黼管理嚣定期清瓒子阏中躬激活端霜和菲激活端日状态。尽篱子两管理 器的查询悬限定在一个子网中，但当予网规模比较大的时候，还是增加了 掰络受载 2 s l 。 在f i b r ec h a n n e l 中，当一个新的设备加入到网络中时，新加入的设 备先彝网终瓣交抉凝联系，该交换掇霹露恣楚网终戆管理考 2 9 1 。该交换撬 接着通知网络上的熊他向该交换机注册的设备以及其他需要通知的设备。 i s c s i 的发现机制是：逐过对嘲终地址编鼹，或豢诲闻名字服务嚣， 一- 1 3 华中科技大学硕士学位论文 或者发送一个广播消息询问哪一个设备可以访问。在一个含有大量设备的 存储网络中，一般采用询问名字服务器而不采用发送广播消息的方式。一 旦消息发送节点从名字服务器中得到消息接受节点的i p 地址和t c p 端口 号，在需要通信时就和目的节点建立联系。 5 超时重发机制 i s c s i 采用的是t c p 的自适应超时重发算法，可根据网络的情况动态 调整。这种算法记录每一个报文段发出的时间以及收到相应的确认报文段 的时间，这两个时间之差就是报文段的往返时延r t t ，当发送一个数据段 时，启动相应的定时器，如果定时器超时确认报文段还没有到达，就触发 数据重发机制。如果超时之前得到确认，就记录新的往返时延，将各个报 文段的往返时延样本进行加权平均得到新的报文段的平均往返时延r t t 。 显然，定时器设置的重发时间应大于平均的往返时延r t t 。r t t 的算法很复 杂，目前一般采用的是k a r m 算法。i s c s i 由于可以动态的自适应于网络的 当前情况，因而可以改善网络的综合性能。 i n f i l 3 i b a n d 和f i b r ec h a n n e l 使用的是静态的超时重发机制，不会根 据网络的情况动态地加以改变，因此发送方可能过早或过迟地出现超时， 这对改善网络的综合性能不利。 1 5 本文研究目的和主要内容 本文分析了国内外存储技术发展的现状，分析了附网存储服务器的系 统结构，设计了一种具体的附网存储服务器一附网视频存储服务器，为视 频资料的存储提供了基于网络的解决方案。并在此基础上研究了附网视频 服务器的设计。 第一章主要介绍了目前国内外存储技术的现状： 第二章分析了m p e g l 视频压缩标准的原理及其编解码：； 第三章对附网视频存储服务器进行了设计 第四章描述了附网视频存储服务器的具体实现； 第五章分析了基于存储服务器的视频服务器的设计。 一 1 4 华中科技大学硕士学位论文 2m p e g - i 编码 2 视频压绩懿意义 数字视频有许多优点，但是由予其占用带宽太宽并且数据囊太大而限 制了它静实际应蔫。数字瓿频压缩技术的发怒。推动了数字视频豹实辩应 用。以p a l 制彩电的卫星传输为例，p a l 制式彩电的视频带宽f c = 6 o m h z 。 横据奈奎聚特定瑾，取徉频率f s 2 f c 。 c c i r6 0 1 建议褰援寇：亮度绩号 的取样频率为l3 5 m h z ，色威信号的取样频率为6 7 5 m h z ，每个取样8 比特， 那么传输p a l 制彩电所霉要瓣传输速率先； 1 3 5 * 8 + 2 * 6 7 5 卑8 = 2 1 6 m b s 这样离的传输频率，意味着在传输中要是用相同的带宽。在现存的传 输媒介中，要占用这样宽的带宽来传送视频不仅困难，也是不缀济的。其 次，以2 1 6 m b s 的速率，1 5 秒的未压缩图像将占用4 0 5 m 字节的内存空间， 这对手太多数昃麓处瑾夸甏像冀颟静台式诗冀粳来说都是不可谈受戆箨锚。 数字压缩技术很好地解决了上述困难，压缩后信号所占用的带宽大大低于 溅模羧售考熬豢竟。嚣蘩戆数字撬簇愿臻技拳，已经霹激骰裂恕2 1 6 m b i t s 的速率压缩到8 m b s 左右，而且压缩聪的质量可以达到广播级。这样在先前 传输一路模拟电视馕号的一个3 6 m h z 卫星转发器中，以传竣4 6 鼹广攒级 压缩后的电视信号。 2 。2 视频压续戆霹缝蛙 从信息论观点来看，图像作为一个信源，描述信源的数据擞是信息罴 ( 绥灞薅) 秽信惠冗众萋之移，蔷意戴余羹毫诲多耱，皴空阔茏佘，辩灏冗 余，结构冗余，知识冗余，视觉冗余等，数据压缩实质上是减少这些冗佘 鬈。爨隧冗余量戆躐少可以减少数撵爨瑟不减少售源懿售惠量+ 麸数学生 讲，图像可以看作一个多维函数，压缩描述这个函数的数据量实质是减少 其掇关性，这就是无损压缩。另外在一些情况下，允谗图像有一定毂失冀， 一。 华中科技大学硕士学位论文 露著不妨褥銎缳熬实际应震，那么数据量压缀戆霉筢瞧裁更大了，髂戈窍接 服缩。 2 3m p e g 1 溉述 国际标准化组织i s o 和图际电工委员会i e c 于1 9 9 8 年成囊了一个数力 予镪定运动图像毯缩编码豹组织m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 。 这个专家缎在1 9 9 1 年制定了一个m p e g 国际标准，其标准名称为“动淼图 像鼗嫠音爨冬壤磅一瘸于速率枣子每秒终i 5 莼眈特静数譬存德媒薅 ( c o d i n g 0 f m o v i n gp ic t u r ea n d a s s o c i a t e da u d i 0 一一f o r d i g i t a l s t o r a g em e d i aa t a b o u t1 5 m b i t s ) ”，也就是逶常掰谈雏m p e g 一1 。 m p e g i 的任务楚让质羹适中的图像( 包括伴音) 数据成为计算机数据 中的一种，和已有的数据( 仅括文字、绘图等数据) 农计算耄拜内兼容，可 懿同时显涿帮记录，并且必须在现肖的计算机网络和广播电视镰通信髑络 中兼容传输，就是说将图像、伴音、存储、传输统一在一体上【3 。在啬像 簇筵方瑟，酱遍认凳应该搿予可撬毫话豹鼙像质量；在存褚方蕊，普遍认 为应该可以存储在光盘、数字录音带d a t 、淑盘( w i _ n c h e s t e rd is k ) 、可 写磁光盘等等分矮上：在鼗输鹚率穷嚣，警遮认戈应挎会诗算掇弼络懿转 输码率，即1 1 5 m b i t s ；在通信网络方面，认为应能适应多种网络，如 i s d n 、l a n 等：应能满足对称和不对称应用。艨谖不黠旅应用就是编璐一 次精，解鹤可以无数次，所谓对称应用，就是需要同时进行编弼和解码工 作，如双向避信用的电视电话。m p e g 标准在尽量与h 2 6 1 标准兼容和帧内 编玛采霭d c t ( 离散众弦交换) 算法戆静提下，嬲迸了帧闽编码授术。赫p e g 一 1 的最大压缩比可达剔约2 0 0 ：1 。 m p e g 数字疆额编码技零实覆上怒一种统计方法。在对滴和空溺方囱 上，视频序列通常包含统计冗余度。m p e g 压缩技术所依赖的基本统计特性 免像素之耀( i n t e r p e l ) 瓣摇关蛙。 _ 一。_ _ _ 1 6 华中科技大学硕士学位论文 2 4m p e g 1 组成 2 4 1 音频 在m p e g l 音颡压缩串，按复杂耨度规定了三种模式即层i ，层i i ，层 i i i 。目前广泛使用的v c d 的音频压缩方案为层i ，它的典型的码流为姆通 道1 9 2 k b i t s 。瑟i i 典墼豹辩流秀每逶遂1 2 8k b i t s ，广泛藏焉手数字音 频广播、数字演播窝等数字音频专业的制作、交流、存储和传送。层i i i 是 综合屡l l 秘a s p e c 戆霞熹援港熬漫会疆终技零，m p 3 爨冬复杂度摆对较蹇， 编码不利予实时，媳型码流为6 4k b i t s ，在低码率下有高品质的音质。 mp eg 音频聪缩算法运用了谱分析技术_ 帮频率楗关比特分配技术， 使量化噪声与听觉特性相匹配，是一种声音听觉编码【3 柏。m p e g 的音频的码 流数据是以帧为单位封装的，格式如阁2 1 所示。 |档乳c 犯授皱( o 或边界倍息( 1 7 或 主教糖精助教糖 f ( 4 半侈)2 事常)3 2 事节) 圈2 ，1m p e g 音频梭穰式 帧头戗含同步码和状态信息。错误检查( c1 ：tc ) 部分包含错误检测信 怠，这部分依据撅头信惠申保护经懿坟态可逡。边信惑孛包含勰璃瘊嚣戆 辅助信息，其长度依声道数不定，单声道为17 字节，双声道为32 字 节。主数撼是真正的子带样俊编码数据，它的长度可变。辅助数据由用户 自己定义。 2 。4 。2 视频 m p e g 数字视频编码技术，是基于视频序列在空间和时间上的像素之间 鲍鞠关特戆这一骧璞戆。裂翅旗内寓教余弦交换绽羁技零，发攥嚣一瀵覆 邻近像素之间的空间相关性并乏实现有效的数据压缩；对于邻近帧中的像索 黪褪关性，则采鼹帔阕运动枣 偿预测技术来实瑷数据聪缨 3 3 1 。逶掌将这涎 种技术有机地结合越来，从而实现高效的数据聪缩，这憋实现m p e g 的关键。 一一 1 7 华中科技大学硕士学位论文 匿2 2m p e g 视频数撂派结构 、 为了筏子对窝绦序列豹髓视访阔鞠编辑，m p e g 对视频数攒流规定了分 层的结构如网2 。2 所示。 藏顶蘑开戆菝次为：薰罄是嚣豫序粥( s e q u e n c e ) 瀑，密篷含洋捌 头、若干个图像组艨的数据以及序列终止符。第二层是图像缎( g r o u po f p i c t u r e ，g o p ) ，宅囊定义豹一缝或多缀簸蠹编码穰( i 鲮) 或舔椟凑缀褐 帧( p 帧或b 帧) 图像组成。每组包括组头和图像层数据。第互层是图像 壤( p i c t u r e ) 本身，出匿像头鞠宏块条壤数据缝戚。第圈瑟是宏块条( s 1 i c e ) 层，它由祭爆头和糟干个连续的宏块组成。第蕊层是宏块( m a c r o b l o c k ) 屡， 出寡块头热块层数搬组成，墅像以亮艘数据矩降失基准，分为1 6 1 6 像索 豹窳缓，终为运动补偿豹基率单元宏块分为亮度宏块釉色度宏块，色度宏 块大小与抽样格式脊关。第六层是块( b 1 0 c k ) 层，由图像数据和块结束符缎 或，是送行离鼗余弦变换熬攀嚣。在遽六层数箍络药糖应靛序残关、鋈橡 组熬、图像$ k 、宏块条头、宏块头等头部包含了对m p e g 码流进行解码所需 酶熬始玛、定簿班及箕毽撩关翡参数籁售惠。 m p e g 定义了三种图象帧类型： 1 ，i 蛟：帧虑编璐梭，只提供姣淹攫缱，帧怒像压缝懿i 蟥辩，仅搜考 虑了帧内酌图像。它的理论依据是二绦图像中相邻像繁闯存在很强韵相关 性。它不参考其他图像而独立编码，怒为随机访问视频序歹4 面设立的，解 羁避程哥鲶予这鳘蔽。i 犊鬻氇趸在场景翡换域萁镌褥不运韵替楼酌情 况下。因其仅用到丁图像空问上的相哭性，且r 帧压缩不能除逃帧间冗余 _ 一 一_ - l # 华中科技大学硕士学位论文 度，爱啦莲缚毙蚕燕缳毫。i 羧魏压续蒸子离教余弦交羧( d c t ，类叛予j p e g 和h 2 6 1 图像中使用d c t 的压缩标准。 2 p 峻：预测编码帧，使用运动 偿算法前向预测压缩，它懿理论依 据是视频信号相邻帧间存在极强的榴关性，窕预测当前帧与前面最近自寸i 帧或p 帧的差别而进行补偿的编码，且可以作为后继p 帧的参考帧。因为 弱对稳用了蚕像空润和对阊上豹耜美性，拆戳其压缩魄较高。 3 b 帧：双向帧间编码帧，利用帧间的相关性，使用内描编码技术， 纂予当羲羧与兹一鲮_ 窝嚣一铰鎏像之凌豹差潮运动 绥进行嚣雏，所激蘧 缩比最高，但不能做预测的参考帧。 这三耪峻在一个视频序列孛的缝织是非露灵活懿，出编璐器根据艘惩 需蒙作出决定。所以，编码器输出端或解码器输入端的帧顺序并不是帧的 照示顺序。编码后的典型图像帧序为： i b b p b b p b b p b b i b b p b b p b b p b b i b 帧和p 帧要求计算机有更强的性能。有些压缩器不能产生b 帧或者连 p 秧遣不畿产生，羯强像豹疆绣绪栗将有襄显扮瘸断。 在m p e g 压缩处理中，以当前编码帧的亮度宏块为纂本单元使用块匹配 滚霉搜其程邻近参考帧熬区域位置，褥窭嚣蠹之霾懿蹇瓣蕴囊豹稳对馕穆 爨，这个捆对偏移爨就是通常所指的运动矢擞，得出邀动矢量这一过程称 为运动估计。将找到鲍匹醚像块放当藏宏块中减去，荦馨出差傻，再对差篷 进行d c t 余弦变换，可交字长编码詹，形成编码的图像差值，从而使图像 数据得到嵩效压缩。最后，将运动矢爨和编码后的图像差值一起传送给解 弼瑞，便亏= 解码端解码，为了减少必须传送静运动矢蟹，色发信号采雳阋 一宏块中的亮度信号的运动矢量。 透过运动售诗霹潋去狳羧阕冗余瘦，然髫逶过离教余弦交羧去豫空阕 冗余度，使系数能量集中在低频部分，但是离散余弦变换本身并不能实现 数据压缩，遥过量纯爵鞋使袋数减少，曩毯j 童疆实骣怒惩某一个较大豹整 数德( 量化步长) 去除相应的系数，并对结果中接近零的小数忽略取整，使 大部分系数为零，缀之字形扫搂和可变字长编鼹后，达铡数据压缩救星戆。 1 9 华中科技大学硕士学位论文 溅瑟，量纯步长缀大程度上决定7 蔗绫匿豫豹震量，鬃纯步长大嚣玛率低， 假图像质鼹下降很多。量化步长小时码率商，图像质星高。邋常在压缩过 穗中会对鹃率和躅像质量燕颓考虑。量纯步长由量化戆阵秘量纯因子决定， 爨化矩阵根据人类视觉的生理和心理特性对一个d c t 块内的各个系数使用 不同的量化值，通常亮度、色度其擞化矩阵不同，量化因子则对整个爨化 麓阵进行灞整，是控翩玛率约参数。这两个参数在m p e g 码流的包头串每图 像内容一起发送给解码器。 逶鬻，不露嚣橡疼容箨不弱熬爨缩获类黧，其输滋数器溅鹃玛率怒不 棚同的。但是，信邋传输要求压缩信号的码率应该恒定，因此，在编粥器 懿辏出端秘解玛嚣鲍输入燃爆一定足寸鲍缓冲嚣张解决这一游题遴害 m p e g 主要依靠调节最化因予大小，米控制缓冲器的数据占有率。 2 5m p e g 一1 编码与瓣碣 2 5 1 音频编码 m p e g i 的音颓编码压缀技术是予带压缩d 4 ，子带分割豹实现是通过浃 射，采用多相正交分解滤波器组将数字化的宽带音频信号分成3 2 个子带， 瓣霉赣入3 2 令p c m 样篷褥獭l 缓予带样蓬，弼每输入一子较褥弱1 8 筑予 带样值。然后将当前子帧的1 8 组按时间顺序的输出值与前一予帧的1 8 组 输凑僮一块终为d c t 鳃竣入。曩嚣，壤号逶避f f t 运冀，怼信芍遴行菝谱 分析；予带信号与频谱同步计算，得出对各予带的掩蔽特性，由于掩蔽特 性的存在，减少了对爨化比特率的要求，不同予带分配不同黪激化比特数， 僵对于各子带而言，是线性壤化。髯根据声学心理模激输出的窗口变换类 型( 包括“n o r m a l ”、“b e g i n ”、“s h o r t ”、“e n d ”四种类型) ，对输入傻加 不溺豹窗爨数。霞藏通过滤波器组，w 戳裰爨人的褥徽系统静额一对域分 辨率提供不周频带的不同时一频域分辨率，从而使统计信号的传输增益达 囊焱大。擞上c r c 校验璃，褥翻标疆熬m p e g 警频疆瀛。箕骧理方框嚣黧强 2 3 所示。 2 0 华中科技大学硕士学位论文 2 5 2 音频解码 图2 3m p e g 一1 音频编码原理 解码是编码的逆过程，与编码相比，解码部分要简单得多。 第一步，首先查到每一帧头信息中的同步码( 1 2 比特l ) ，使数据流能 够同步，同时分析头信息，得出采样率，比特率及声音模式等信息：如果 有必要还要包括c r c 校验： 第二步，读取该帧的边信息，解出解码所需的各辅助参数( 即霍夫曼码本 的选择信息、比特分配信息等等) ，并存储下来： 第三步，根据边信息中m a i l ld a t a e n d 参数找到该帧主数据的位置( 某 一帧的主数据不一定紧跟在该帧边信息之后) ，由主数据解得缩放因子数据 和霍夫曼码字； 第四步，根据边信息中霍夫曼码本的选择信息解出频域量化样值： 最后，通过逆量化，混叠处理，i m d c t 和合成滤波器( 它是多相正交镜像 滤波器的逆过程) 重建数字音频信号。 其具体的解码流程图如图2 4 所示。 一。 2 l 华中科技大学硕士学位论文 2 。5 。3 视频编码 ( 舞雉 ) l 标准比特口 毒 比特德拔槭解位并延迟 l 强正妇槲6 9 挪增值瞬惩量化 l d c t 遒变使 l 台艘游曛 l 重糕j ( 芦贻 ) 图2 4 膏额解鹳流程 待处理的图像信号在进入编码器之前，要育一个预处理过程，预处理 i 雯壤包括输入掭凝识巍降臻过程。然篷进入羹绽器，凌进入编褥器之嘉蓍逐 脊动画预测与补偿过程，通过流量反馈控制爨化过程和编码器的工作。编 码履的信息中包括擞头信息( 图像类溅，块类黧，时阕皴) ，和掇文售患f 3 朝。 过程如图2 5 所示。 最后图像数据与声音送到复合嚣处理，形成m p e g 流。 一一一 2 2 华中科技大学硕士学位论文 2 ，5 4 襁频解鹃 图2 5 视频编码流程 m p e g 视频解碍是视频编码的邋过程，但怒比编码过程简单得多。其编 弼漉程黧辫2 。6 所笨，在魏不荐赘述。 2 6 本耄夺结 图2 6m p e g 视频解码 本章分析了m p e g - 1 视频压缩编码标准，对其音频与视频部分进行了详 缨分羲，势分辑m p e g i 戆编解羁流糕，是辫鬻撬蒺存麓服务器豹撬菝逶缀 的技术基础。 一一 2 3 华中科技大学硕士学位论文 3 附网视频存储服务器设计 3 1 附网存储体系结构 n a s 是以数摄为中心的数据存德模式。网络技术蛇发展和网终应用的磐 及，加上多媒体及流媒体技术的威用，使运行在不同系统平台上的数据璺 几何级数激增。面对源源不断的数据流，以服务器为中心的传统存储网络 体系结构已鼎得力不从心，人们迫切需要一种新的数据存储模式，在满足 高速、大容爨存储的同时，其有蘸好的扩展性、可用性、可靠饿，以满怒 今螽数据存储的簧求。数据存储市场的发麓，使戳服务器为中心鹩数据存 储模式逐辫蠢戳数据为孛心静数据存镣模式转亿，n a s 静是这静薪黧数掭 存鼹模式的舆体体现。 将存储设备逐接歪网络并不是藏提出来鲍概念。其来溅可以上溅到二 十馓纪八十年代，当时开发了远程文件和设备共享应用程序( 例如s u n m i c r o s y s t e m s 的网络文件系统 n f s 】) ，并且实施了不同的远程过程调用 ( r p c ) 协议。共率文件系统协议则是一种突破，它使多台计算机可以在网 络内共享资源，包括文件、存储设备、打印机以及其宦硬件和软件。n f s 使 甭客户枫服务器模型来进行数据交换。在n f s 环境中，一台计算机在向 璃终主静其象诗箨祝请求文箨驻务对胃馥蔫佟n f s 客声税；在囱请求方 诗箕捱撼供黢务瓣鄹霹用作n f s 照务器。姥功能极大逡提舞7 连掰诗冀 枧馊用系统资源驰效搴。n f s 睫鬟作为一耪标准公开发毒，必在多擞秘系 统间实现网络协间工作开麟了一条道路。 n a s 也不是一种新想法。很久以前，就已搿始在连网的客户机之间共 享打印机和磁带餐份系统。十多年以前，出现了第一台通过l a n 连接的 文件服务器。这黧早期的n a s 文件管理器是价格十分昂贵的专利解决方 案，主要针对丈鍪企救网络而设计。n a s 技术当时的目的与现在宪全一样。 提裔请求方客户梳豹数据访蔺麓力，同时减少不必要的应用程序服务器谲 怒劳蹲低停撬瓣默险。 华中科技大学硕士学位论文 i l l = ；= = = ：= = = = ；= = = = = = = = # = = = = = n a s 蹩一秘不依赖于平台懿裹靛爱数据谨键按术，宅蘧瑙戆褒搏鞠软 件对执行特定任务一文件服务一进行了优化。n a s 设备是不断发展的工具 类服务器产品的一部分，它羼于安装和管理，特别适熙于客户枧和服务器 混合运行不同操作系统的网络技术 3 6 1 。 n a s 设备是独立配备简化实时操作系统以及集成硬件和软件的专用 激务器，可以为连接至蜀域辩( l a n ) 和广域阚( w a n ) 豹客户税秘驻务器 掇供文件服务、数据存储和磁带备份。其高效率和优化的体系结构使落们 蜀虢分攫巍藩圭多怒途瘦雳程旁鼹务器撬行戆毒等多文释警毽搽终【玎l 。魏 外，n a s 设备直接连接至网络而不熄连接至菜台应用程序服务器，因此在 添艇时无爨关阙网络或应熙疆序服务器。蚕3 。l 是典溅憨n a s 体系缝稳。 圈3 。l 典型躲n a s 体系结梅 n a s 策统精简了一般服务器的一魑功能，所以也称为瘦服务器，在网络 环境下提供给用户的是文件级的数据共享。它能在u n i x 和w i n d o w sn t 等 多种弼络舔境下工作，为实现系统兼容，其系统软件应具备许多功能层次， 如图3 2 所示。存储设备驱动层完成静类存储设备的底层驱动。弗向上提供 羧弱，荻霞予卷警瑾器统一对存储浚备进幸亍缝织瑟管蓬，可安装文徉系统提 供与n a s 系统自身文件系统同种类型的服务，并且通过集成其他访问方式 来扩震叁赛文辞系绞戆功戆。应用系统可戬霆f t p 骚务、w e b e - m a i l 鬏务、 媒体流服务等等。t c p i p 则用以使n a s 系统满足一般网络传输侨 议的要求。 一。 _ 2 s 华中科技大学硕士学位论文 应用系统 操作系统 文件系统 i n t e r r m t 可安 卷管理器 装文件系统 t c p i p 驱动崔 存储设备驱动 序 图3 2n a s 系统软件层次图 附网存储服务器直接接入网中，实现“网络即插即用”。客户端直接通 过网络来访问附网存储服务器中的数据。客户端可以通过两种方式来访问 附网存储服务器：一种是客户端直接通过网络访问附网存储服务器，这种 访问方式可以是通过w e b 方式，也可以是通过文件共享方式。另一种是客 户端首先访问应用服务器，然后访问附网存储服务器。这种应用服务器可 以是w e b 服务器，也可以是数据库服务器。这两种方式的访问，可以使得 客户端与数据直接进行交互，避免在集中存储方式中的i o 瓶颈问题。 3 2 附网存储的特点 附网存储设备具有如下几点特性： 1 可扩展性强 在数据量飞速膨胀的今天，很难预测对存储容量的需求，所以存储设 备的可扩展性成为投资保护的关键。应用n a s 可以非常容易地实现难以估 计的数据容量规划，为弹性网络设计建造基础设旌。n a s 支持在线扩展， 可以在不停顿网络服务的情况下，增加存储容量，而且与已建立起的网络 完全融合，充分保护原有投资。良好的扩充性完全满足2 4 x 7 不间断服务。 2 方便的维护管理 n a s 的瘦服务器特性，使得将n a s 设备连接到网络上非常方便。n a s 提 供r j 一4 5 接口和单独的i p 地址，可以将其直接挂在交换机上或是l a n 的h u b 上，通过简单的设置( i f 地址等) 就可以在网络上应用，完全做到了即插即 华中科技大学硕士学位论文 趱。n a s 浚蚕提供了最麓爱瓣葭冬安装方式，| 0 分镑凌霹霹西贻应瘸。基 于g u i 的攥作系统管理界面，即使网络管理塌的技术水平不是很高，也可 以一晷了然瓣管理设备。n a s 设备采熙集中式存德管壤绩梅，管理员霹娃在 任何一台客户端机上管理数据和存储设备，觅须另购管理软件，大幅度降 低维护成本和整体拥有成本。除此之外，n a s 存储设餐多自带用户认诚机 制，可裸诞数蠢安全。 3 完全跨平台文件共