（通信与信息系统专业论文）多媒体数据的存储、传输及摘要提取技术.pdf

摘要 本文对多媒体信息系统中关于多媒体数据存储、管理、传输以及摘要提取的 相关问题做了比较深入的讨论，并提出了一些具有普遍适用性的解决方案。 本文首先介绍了面向对象的数据库设计方法，并根据这些方法提出了系统数 据库的设计方案。为了保证视频资料的永久性存储和方便快捷的共享，分布式多 媒体编辑及素材共享系统采取了层次化的存储结构。基于这种结构的系统往往涉 及到众多的设备及复杂的网络环境，为了进行有效管理，本文提出了种易于扩 展的网络设备管理框架。基于此框架，本文讨论了资料管理和存储介质管理软件 的设计思路。为了保证管理能够按照原子操作进行，系统引入了事务管理功能， 本文介绍事务管理功能的含义，并对其实现思路进行了探讨。 本文对视频点播中的各种主要广播协议进行了较为详尽的讨论和分析，其结 果为视频点播系统设计中的关键问题提供了解决思路。 对于网络上的大型视频资料共享系统，如何提供视频资料的快速浏览、检索及 提取手段是个十分重要的问题，为视频资料建立层次化的摘要就是其中可行的解 决方案之一。本文详细讨论了视频摘要技术的目的、意义及其技术发展现状，并 根据分布式多媒体编辑及素材共享系统的需要，设计了一种层次化的视频非线性 组织方案。根据该方案，本文提出了一种基于i 帧的镜头分割及关键帧选取算法， 并介绍了对应的关键帧提取系统的实现。 关键词。多媒体广播协议视频摘要关键帧 a b s t r a c t i nt h i s p a p e r , c o r r e l a t e dq u e s t i o n sa b o u tm u l t i m e d i a - d a t aa r c h i v i n g ，m a n a g i n g ， t r a n s m i t t i n ga n da b s t r a c t i n gi nt h em u l t i m e d i ai n f o r m a t i o ns y s t e ma r ed i s c u s s e d ，a n d s o m es o l u t i o n sw h i c ha r ea d a p t a b l ea tl a r g ea r ea d d r e s s e d i no u rs y s t e m , t h ec o r eo fm u l t i m e d i a - d a t aa r c h i v i n ga n dm a n a g i n gi sb a s e do n d a t a b a s e a ne f f i c i e n ta n ds u i t a b l ed a t as t r u c t u r em u s tb ed e s i g n e dt of u l f i l lt h ed e m a n d o ft h e s y s t e m i nt h ep a p e r , t h eo b j e c t - o r i e n t e dd a t a b a s ed e s i g n i n gt e c h n i q u e sa r e i n t r o d u c e d ，a n dt h es y s t e md a t a b a s e i sp r o p o s e db a s e do nt h o s em e t h o d s ， t og u a r a n t e et h ep e r m a n e n ts t o r a g ea n de f f i c i e n ts h a r i n go ft h ev i d e om a t e r i a l s ， t h eh i e r a r c h i c a ls t o r a g es t r u c t u r ei su s e di nt h es y s t e m a st h es y s t e mb a s e do nt h i s s t r u c t u r ei n v o l v e sl o t so f e q u i p m e n t ，n e t w o r kc o n d i t i o n sb e c o m ev e r yc o m p l i c a t e d i n o r d e rt om a n a g et h es y s t e me f f i c i e n t l y , w ep r o p o s e d 缸e x p a n d a b l ef r a m e w o r kf o rt h e m a n a g e m e n to f n e t w o r kd e v i c e s b a s e do nt h ef r a m e w o r k , t h en e t w o r kd e v i c e sc a nb c r e g i s t e r e d , m o d i f i e d a n dd e l e t e d e a s i l y , h e n c e t h e e x p a n s i b i l i t y i s g u a r a n t e e d f u r t h e r m o r e ，t h es u r w a r ef o rd a t am a n a g e m e n ta n ds t o r a g em e d i u mm a n a g e m e n ta r e d e s i g n e d ，w h i c ha r e a l s ob a s e do nt h ee x p a n d a b l ef r a m e w o r k t h ed e s i g nm e t h o d e n a b l e st h ea d m i n i s t r a t o rt om a n a g et h ew h o l e s y s t e ma n y w h e r e b yu s i n gt h es o f t w a r e ， a sl o n ga sh ec a nc o n n e c tt ot h en e t w o r ka n d h a v et h ea u t h e n t i c a t i o n t h et r a n s a c t i o n p r o c e s s i n gt e c h n i q u e sa r ea l s ou s e di nt h es y s t e mw h i c hc a nm a k e t h eo p e r a t i o nb e p r o c e s s e da t o m i c l ya n dg u a r a n t e e t h e i n t e g r a l i t yo f i n f o r m a t i o n t h eb r o a d c a s t i n gt e c h n i q u e sc a nb eu s e dt os o l v et h ek e yp r o b l e m si nt h ed e s i g n o fv i d e o - o n - d e m a n d ( v o d ) s y s t e m s i nt h i sp a p e r , m o s to ft h ep o p u l a rb r o a d c a s t i n g p r o t o c o l sa r ed i s c u s s e da n dt h e na n a l y z e d ，w h i c hc a np r o v i d ear e f e r e n c ef o rr e a l i z i n g b r o a d c a s t i n gf u n c t i o n i nv o d s y s t e m s i nt h el a r g e - s c a l e dv i d e os h a r i n gs y s t e mb a s e do nn e t w o r k s ，i ti sq u i t ei m p o r t a n t t h a tv i d e o sc a nb er e v i e w e d , s e a r c h e da n dr e t r i e v e dw i t he a s e af e a s i b l es o l u t i o ni st o b u i l dah i e r a r c h i c a la b s t r a c tf o rv i d e o s i nt h i sp a p e r , t h ep u r p o s e ，s i g n i f i c a n c ea n d c u r r e n tr e s e a r c hs k i l l so fv i d e oa b s t r a c t i n ga r ed i s c u s s e dw i t hd e t a i l ah i e r a r c h i c a l n o n - l i n e a rv i d e oo r g a n i z a t i o ns c h e m ei st h e np r o p o s e d b a s e do nt h es c h e m e ，w e p r o p o s e dan e wa l g o r i t h mf o rv i d e os h o td e t e c t i o na n dk e y - f r a m es e l e c t i o nb a s e do n i f r a m e s t h ec o r r e s p o n d i n 8k e y f r a m ee x t r a c t i n gs y s t e mi sa l s or e a l i z e dw h i c hs e t sa b a s ef o rt h er e a l i z a t i o no f t h en o n - l i n e a rv i d e oo r g a n i z a t i o ns c h e m et h a ti sf o l l o w e du p k e y w o r d s ：m u l t i m e d i ab r o a d c a s t i n gp r o t o c o l sv i d e o - a b s t r a c t i n gk e y - f l a m e 北京邮电大学硕士学位论文 1 1 多媒体与多媒体通信 第一章绪论 1 9 8 7 年，世界上第一台多媒体计算机在国际第二届c d r o m 年会上展出，它 是由美国r c a 公司的普林斯顿实验室组织计算机、广播电视和数字技术三个方面 的4 0 余名专家，经过4 年的研究研制成功的，从此开创了多媒体技术的起源。 多媒体技术的出现，在世界范围内引起了强烈的反响，因为它清楚地展现出 信息处理和通信技术的革命性发展方向。图像压缩编码技术的成熟和计算机技术 的发展，使得包括数字电视图像信号在内的电话、传真、图文电视、可视电话等 媒体业务都可以在一台终端上得以实现，从而将通信、广播电视和计算机这三个 原本各自独立的技术领域融合到了一起。 因此，通常所说的多媒体数据是由内容文本、图形、图像、声音、动画、活 动图像等媒体数据所形成的复合数据。如果将对时间敏感的声音、活动图像的数 据称为实时数据，其它类型的数据为非实时数据，那么，多媒体数据当中至少得 包含有一种实时数据和一种非实时数据 1 1 。 人与媒体之间的交互是多媒体技术最基本的特征。由此我们可以作出如下定 义：多媒体技术就是以交互的方式在计算机控制下处理多媒体数据的技术。 多媒体通信则是多媒体计算机和多媒体通信网的有机结合。依靠功能强大的计 算机和先进的通信网将各种媒体信息集合为一体，实现存储、显示、重现和传输 等功能，以达到充分开发、交流和利用信息的目的。 1 2 多媒体通信的主要研究课题 多媒体通信技术作为一门跨多学科的新兴技术面临着许多研究课题，如多媒体 数据压缩技术、多媒体数据存储技术、多媒体网络技术、多媒体同步技术和多媒 体软硬件技术等。由于本文涉及到多媒体数据压缩技术、多媒体数据存储技术和 多媒体网络技术，因此以下将对这三方面加以介绍。 1 2 1 多媒体数据压缩技术 在多媒体系统中，由于涉及声音、图像以及视频影像等多种信息，其数据量是 非常大的。例如，对扫描点阵为7 2 0 5 7 6 的p a l 电视信号进行数字化，每个取 样点8b i t ，则数字化后的数据传输速率将达到2 1 6m b s ，如果需要存储这些数据， 北京邮电大学硕士学位论文 则一张6 0 0m b 的c d - r o m ( 只读光盘) 光盘只能存储2 2 秒左右的视频图像，这 对网络和存储设备来说是难以接受的。为节省存储介质空间和通信网带宽，数据 压缩技术就成为多媒体技术必须解决的关键技术之一。 数据压缩的理论基础是信息论，信息论中将离散无记忆信源发出符号所携带的 平均信息量h 定义为： h = 一p ( s i ) l 0 9 2 p ( 量) 】 f 其中p 西是第i 个符号出现的概率。并证明它就是对离散无记忆信源进行无失真 压缩的理论极限，也是信源符号的最短字长。如果某信源发出的符号平均字长大 于h ，则可认为它存在冗余，从理论上讲就有压缩余地。 从信息论的这一观点出发，人们陆续研究出一系列压缩编码算法，其中应用 较多的算法有：统计编码、预测编码、变换编码和矢量编码等，其原理都是通过 去除采样值之间的相关性来达到压缩目的。这些方法以信息论为基础，以信号序 列或信号矩阵作为研究对象，是一种微观编码方法( 也称作波形编码) ，其现有研 究水平已经比较成熟，并得到了广泛应用，但进一步发展的余地已不大。现在具 有良好应用前景的图像压缩方法是分形编码、物体模型编码和自适应网格编码等， 它们不再局限于信号的微观信息，而是基于人类视觉认识事物的宏观过程：即先 认识事物的整体结构和形状，再弄清其细节内容。理论上讲，这些方法具有更高 的压缩率，不过它们尚处于研究阶段，实际应用不多 2 i 【3 l 。 数据压缩方法多样化的一个必然要求就是数据压缩的标准化，从9 0 年代初开 始c c i t t ( 现为国际电信联盟i t u ) 、i s o ( 国际标准化组织) 和i e c ( 国际电工 委员会) 陆续颁布了一系列标准，如针对灰度静止图像的j b i g ( 静止二值图像专 家组) 、针对彩色静止圈像的p e g ( 联合图像专家组) 、针对活动图像的m p e g ( 活动图像专家组) 和视听业务压缩编码标准h 2 6 1 、h 2 6 3 等。其中得到应用最 多的是j p e g 、m p e g - i 和m p e g 2 压缩标准。 j p e g1 9 9 6 年i s o 和c c i t t 成立p e g 专家组，其任务是建议一个适合于连 续色调图像压缩的国际标准。专家组最初提出了l o 种建议算法，在经过认真比较 后，决定以a d c t ( 自适应离散余弦变换) 为基础提出一个标准草案，该标准草 案在1 9 9 0 年得至通过，即为p e g 标准，标准编号i s o i e c1 0 9 1 8 。现在数字视 频编辑领域所使用的m o t i o n - p e g 压缩方法也使用了j p e g 压缩算法， m o t i o n - p e g 能够同时实现活动图像的数据压缩和逐帧编辑的功能，但尚无统一 的国际标准。 m p e g - 1i s o 和c c i t t 于1 9 8 8 年成立了m p e g 专家组，致力于研究和制定 2 北京邮电大学硕士学位论文 活动图像及其伴音编码的国际标准，并于1 9 9 1 年提出了“用于数字存储媒体的活 动图像及其伴音约15m b s 的编码”方案，也就是m p e g - 1 标准，标准编号为 i s c i e c1 1 1 7 2 。它广泛应用于视频的数字存储领域，标准分为系统、视频、音频 和一致性测试四个部分【4 】。我们所熟知的v c d 采用的就是m p e g - 1 压缩标准。 m p e g - 2 随着多媒体技术、数字电视技术、多媒体通信和交互式电视技术的 发展，人们明显感觉到m p e g - 1 压缩标准在视音频分辨率和传输率等方面的不足， 于是m p e g 专家组在1 9 9 0 年开始了m p e g - 2 标准的制定工作，并于1 9 9 3 年提出 “活动图像及其伴音的通用编码”标准，标准编号为i s o i e c1 3 8 1 8 。其后标准不 断扩充，到1 9 9 5 年底，i s o i e c1 3 8 1 8m p e g - 2 标准共达到9 项，涉及到了系统、 视频、音频及一致性测试等方面的内容。m p e g - 2 一经推出立即被数字电视标准 所采用，并广泛应用于视频点播等多媒体通信业务之中p 】i “。 1 2 2 多媒体数据存储技术 多媒体数据存储技术包括多媒体数据的存储介质和多媒体数据的存储组织两 个方面。多媒体数据的数据量大，普通的存储介质无法满足其存储要求，而必须 使用大容量存储设备。现有的大容量数据存储设备主要有r a i d ( 廉价冗余硬盘阵 列) 、光盘库( j u k e b o x ) 和磁带库，它们各自具有不同的特点，适合于存储不同 用途的数据。 硬盘阵列的数据搜寻速度快，读写带宽高，支持随机访问，能支持较大数量 的并发访问，但价格昂贵，替换拆卸困难。硬盘阵列适合于存储使用者较多、访 问次数频繁的数据。 磁带库的数据读写带宽由磁带驱动器数目决定，搜寻速度慢，只能支持线性 访问，且能支持的并发访问数目有限，但替换方便，价格便宜，而且磁带可以从 磁带库中取出单独保存。磁带库适合于存储使用者很少、很少被访问的数据，特 别是存档数据。 光盘库的数据读写带宽由光盘驱动器数目决定，搜寻速度较快，支持随机访 问，能支持的并发访问数目较多，且替换方便，但价格较贵。事实上，光盘库的 性能介于硬盘阵列和磁带库之间，兼有硬盘阵列和磁带库各自的一些特点。由于 硬盘阵列和磁带库所适宜存储的数据差异很大，光盘库通常可以介于它们之间作 为一个缓冲。 既然多媒体数据量大，媒体种类多，且媒体之间既有差别又有联系，如何管 理组织好这些信息就成为多媒体数据存储组织的重要内容，其核心就是多媒体数 据库管理系统。多媒体数据库管理系统与传统的数据库管理系统相比具有许多不 同的特点： 北京邮电大学硕士学位论文 1支持多种媒体数据类型及其相应处理 2 支持对象的同步与集成 3 支持不同媒体的语义查询方法，即支持描述性查询方法 4 能够保持不同媒体数据之间关系的致性 5 支持连续媒体的实时读写操作 6 支持长事务处理能力 7 能够管理大容量数据，支持分布式存储 构造多媒体数据库可以使用扩充现有数据库系统和重新建立面向对象的数据 库系统两种方法。扩充现有数据库将它改造为多媒体数据库，是现阶段商用多媒 体数据库产品的普遍做法，这种方法由于利用了现有数据库的成果，能够快速完 成实用产品，但同时也受到传统数据库设计上的限制，很难将之改造成一个真正 意义上的多媒体数据库。重新建立面向对象的数据库就是根据多媒体数据库的以 上特点，重新设计数据库的管理系统，使之成为一个真正意义上的多媒体数据库， 这是现在多媒体数据库研究的方向，不过还没有实用产品出现。 1 2 3 多媒体网络传输技术 多媒体网络与一般的数据通信网相比有其特殊性： 1 多媒体数据的数据量大，要实时地传送多媒体数据，多媒体网络就必须有 较高的传输带宽和数据吞吐量。 2 媒体类型的不同对网络也有不同的要求：文字信息对延时和延时抖动要求 不高，但不允许出错。实时媒体( 如声音、活动图像) 对延时和延时抖动十分敏 感，例如话音传输要求延时小于2 5 0m s ，延时抖动小于4 0 0m s ，但对数据出错要 求相对较低。因此要求多媒体网络能够根据不同的媒体类型采取不同的传输策略。 3 多媒体网络必须能够支持多播( m u l t i c a s t ) ，以实现多媒体信息的共享。 4 多媒体网络要有服务质量( q o s ) 保证，网络自身需要有资源的接纳、监 测和调整策略，以保证实时媒体在终端重现时达到一定的质量。 要真正实现达到以上要求的多媒体网络是非常困难的，在现实应用中，都是 根据实际情况使用不同的网络。现在可用于多媒体数据传输的网络很多，如快速 以太网、a t m ( 异步传输模式) 网、i - i f c ( 混合光纤同轴) 网、a d s l ( 非对称数 字用户环路) 网、电路交换网、f d d i 2 ( 分布式光纤数据接口) 等。下面介绍一 下几种常用的多媒体网络技术。 快速以太网，它是一种共享式的宽带局域网，同一网段上的计算机共享网络 带宽，信号的碰撞检测采用c s m a c d ( 载波监听多路访问冲突检测) 协议a 在 快速以太网中，用户的增多会导致冲突概率加大，从而造成有效带宽下降，网络 4 北京邮电大学硕士学位论文 延时抖动增加。快速以太网对多媒体数据的传输策略是牺牲带宽，保证服务质量， 现在广泛用于多媒体系统的快速以太网有1 0 0b a s e 以太网和干兆位以太网等。 a t m 网，它是国际电信联盟推荐的宽带综合业务数字网( b i s d n ) 的传输模 式。a i m 提供面向连接的高速异步数据传输服务，其接c i 速率为1 5 5 m b s 和6 2 2 m b s 。a t m 网根据不同数据服务特点提供了四种服务类型：固定比特速率( c b r ) 、 可变比特速率( r ) 、可用比特速率( a b r ) 及局域网仿真。在各种网络中它最 接近多媒体网络的要求。 f c 网，它通过改造现有的有线电视同轴网，使之成为一个双向的数据网。 i - i f c 网分为头端、传输系统和用户接入网三个部分。由于在h f c 网中传输的仍旧 是模拟信号，因此数字信号进入h f c 网前必须在头端进行模拟调制，并与原有的 模拟电视信号混合，通过传输系统传给用户。h f c 的主干传输网用光纤取代了原 来的同轴缆，提高了数据传输的可靠性，在用户接入端还是使用原有的同轴分配 网，只是分配节点需要进行双向改造。i - i f c 网是一种非对称网络，网络下行频段 与上行频段是分开的，在下行频段上，网络可以向用户提供独有的高带宽接口， 在上行频段上，网络只能向用户提供共享的有限带宽。 1 3 论文的安排 在研究生期间，本人参加了宽带综合多媒体信息系统和分布式多媒体编辑及素 材共享系统两个项目的开发过程，并在其中主要从事多媒体节目制作、多媒体数 据存储管理、网络传输和摘要提取等方面的理论研究和软件设计工作。具体来说， 主要完成了以下工作： 1 参与了宽带综合多媒体信息系统新闻中心子系统的开发工作，完成了配音 站软件的设计及翻译站软件的改进工作。 2 研究了d i r e c t s h o w 技术及流媒体技术，设计了基于d i r e c t s h o w 技术的伪流 式播放器软件。 3 。参与了分布式多媒体编辑及素材共享系统的总体设计。 4 完成了分布式多媒体编辑及素材共享系统中资料管理子系统的设计，包括 设计了系统的数据结构和数据库，设计并改编了网络设备管理软件，资料中心管 理软件，远程文件服务软件和存储介质管理软件。 5 研究了视频点播中的广播技术，并导出了设计和选用广播协议的原则。 6 对视频摘要的相关技术进行了深入的研究，提出了视频摘要提取和浏览的 基本框架；研究并提出了一种新的基于i 帧的镜头分割及关键帧选取算法，并完 成了从m p e g - 2 传送流中提取镜头及关键帧的相应软件；最后绘出了进行多层视 北京邮电大学硕士学位论文 频非线性组织的思路。 由于前两部分的工作是本人研一时完成的，它们的改进现在也由专门的同学在 负责，所以本文将不对这两项工作进行说明。 本文第二章简要介绍了分布式多媒体编辑系统的情况，第三章详细讨论了分布 式多媒体编辑系统中资料管理子系统的设计和实现，第四章介绍了视频点播中的 广播技术，第五章从视频摘要提取的必要性入手，详细讲述了视频摘要提取的思 路、方法和实现，第六章则是对论文工作的总结和展望。 参考文献 【1 】1 ls t e i n m e t z , kn a h r s t e d t , m u l t i m e d i a a p p l i c a t i o n s ，清华大学出版社，1 9 9 7 【2 】吴乐南，数据压缩的原理与应用，电子工业出版社，1 9 9 5 3 】蔡安妮，孙景鳌，彩色电视基础，人民邮电出版社，1 9 9 6 4 】钟玉琢，( m p e g 运动图像压缩编码标准，清华大学出版社，1 9 9 7 【5 】蔡安妮，孙景鳌，多媒体通信技术基础，电子工业出版社，2 0 0 0 6 】钟玉琢，运动图像及其伴音通用编码国际标准一一砌p e g 2 ，清华大学出版 社，1 9 9 7 6 北京邮电大学硕士学位论文 第二章分布式多媒体编辑及素材共享系统 2 1 系统的研制背景 分布式多媒体编辑及素材共享系统开发的最初目的是利用现有的多媒体技术 改造电视台。在传统的电视台节目编辑制作系统中，视频信号的采集、播放、编 辑和存储都采用模拟方式，即编辑人员使用摄像机或录像机等设备采集原始视频 信号，以模拟的方式编辑、处理素材，并将制作好的节目仍旧存储在模拟录像带 上。在使用过程中，这种系统暴露出如下一些固有缺点。 1 声像资科的管理和交流传递困难 每个电视台都存有大量的历史影视资料和节目，这些资料和节目存储在录像 带上。大量的录像带需要人工查找和维护，造成管理困难和效率低。当有突发事 件发生，需要选用相关的资料制作节目时，从浩瀚的带子中找到合适的片断更是 一项艰巨的任务。另外，当不同单位交流节目时，用交换录像带的方式不仅极不 方便，而且也耽误时间。 2 。绽辑制作节目的效率低 采用录像带进行编辑只能使用线性方式，如果要寻找定位一段节目，必须使用 编辑机反复快进或快退录像带，使得编辑工作麻烦且耗时，同时反复操作录像带 的次数过多，还会影响录像带的使用寿命。 3 声像资料的保存困难 录像带在存放一段时间后会出现退磁现象，造成所存储节目图像质量的显着下 降。一般来说，一般录像带在存放5 年后，就会明显感觉到图像质量变差。 此外，随着数字电视终端价格的迅速下滑和节目源的极大丰富，我国的数字电 视发展已经进入实质性的阶段，继续使用采用模拟技术的节目编辑制作系统，显 然已经跟不上广播电视业的发展步伐。 由此可见，利用当前最新的多媒体技术开发全新的多媒体编辑及素材共享系 统，使之能够克服原有系统的缺点，并能够提供更高质量的声像服务，就成为一 个亟待研究和解决的问题。 2 2 系统的设计要求 分布式多媒体编辑及素材共享系统试图利用当前最新的计算机技术、通信网络 技术和数字视频压缩技术，因此提出了与原有系统不同的要求，该系统应该具有 以下特点和功能： 7 北京邮电大学硕士学位论文 1 支持多种信息输入方式 要求系统能够接收如下视频信号：模拟电视信号、数字电视信号、各种光盘 信号( 如v c d 、s v c d 和d v d ) 和经过数字压缩的视频信号。 2 支持不同码率、不同格式的视频采集压缩和转换 根据系统不同功能模块的要求，可进行m p e g - 1 ( 或者m p e g - 4 ) 和m p e g - 2 的不同码率的压缩，并能完成一些必要的文件格式转换，如m p e g - 2t s 文件到 m p e g - 1 文件之间的转换，v c d 、s v c d 和d v d 文件到m p e g - 2t s 文件之间的 转换，等等。 3 支持层次化的存储结构 大容量的声像资料库需要采用分级存储结构。视频服务器的磁盘阵列作为一级 存储设备，其中存放近期的、使用频繁的信息，可供用户的实时浏览和调用。二 级存储设备为可读写光盘库，存放不经常使用的历史性资料信息，同时也是一级 库的备份。 4 支持视频资料库基于关键帧的测览 将一个节目的一系列具有代表性的帧提取出来，称为关键帧；浏览关键帧则 可获知节目的详细内容。为了浏览的方便，关键帧常按镜头、场景等分成若干层 次，用户首先概览节目所包含的所有场景；若对某个场景感兴趣，则可进一步浏 览该场景所包含的分镜头。每个关键帧都附有它在整个节目中的时间定位信息。 节目在进入资料库时，不仅要存储节目本身，还需要伴随存储它的关键帧。显然， 通过资料库节目的关键帧来对节目进行浏览、定位和剪切，不仅比较精确，而且 使节目内容变得直观、易于理解。对于网络化的节耳制作环境，基于关键帧的内 容浏览可使在网络上传输的数据量大大减少。 从已压缩的视频数据中自动地提取关键帧涉及到视频数据的解压缩、图像处 理、图像序列分析与相似性比较等方面的技术。 5 支持视频资料库基于低码率视频流的浏览 对于网络化的多媒体编辑及素材共享系统，如果要做到定位到帧准确的剪切， 最好的做法就是使用类似于真v o d ( t r u e v o d ) 的技术。因为资料库中的节目是 要用作节目制作的素材，所以是以高码率、低压缩比的格式( 如m p e g2 ) 存储 的。在初选素材时，浏览这种高质量的图像既无必要，又很浪费网络资源。因此 需要在存储低压缩比节目的同时，同步地存储一个帧对齐的高压缩比( 例如 m p e g1 或m p e g 4 ) 文件。用户浏览高压缩比的码流，然后系统根据用户给出的 时间定位信息剪裁下高压缩比文件中的对应段，并将该段传送给用户作为粗编的 素材。粗编完成后，用户根据粗编所得到的e d l ( 编辑决策列表) 文件，从资料 库中获取低压缩比的资料片段进行最后的精编。 北京邮电大学硕士学位论文 获得同一节目的高压缩比和低压缩比的两个文件的方法，可以是同步地( 即二 者在时间上帧对齐地) 对同一模拟信号进行采集和数据压缩；对于己经压缩的节 目则可以从低压缩比的数据通过格式转换获得高压缩比的文件。 6 支持分布式的系统管理和节目管理 所谓分布式管理，包括两个方面的含义。一是系统中的各种设备和资料数据分 布在网络上，需要进行有效的管理；二是只要具有相应权限，系统管理员就应该 可以在任意一台与网络相连的主机上，通过管理软件对系统进行相应的管理。因 此，分布式的系统管理和节目管理对于控制声像数据在系统内各个设备之间的走 向，和协调系统各个部分之间的工作，是至关重要的。它涵盖了三个方面的内容， 即节目管理、磁盘与光盘管理及系统管理。系统管理的主要内容是对系统的操作 入员进行分类和权限管理，及对系统中的各种硬件设备和软件服务进行管理，包 括设备服务的注册、修改和删除等。节目管理的主要内容是节目的采集压缩、格 式转换和视频摘要提取。及节目的入库、维护、查询、浏览和调度。磁盘与光盘 管理的主要内容是节目的删除和备份，及磁盘碎片整理和光盘格式化等。 7 支持远程节日资料的共享 存储在各个资料中心的节目应该可以通过网络远程共享。本地资料中心的合法 用户可以查询远程资料中心的节目内容，并选择感兴趣的节目进行下载；本地资 料中心的管理员也可以将本地节目分发给远程资料中心。 2 3 功能子系统及其网络结构 分布式多媒体编辑及素材共享系统可以根据功能划分为三个子系统，下面我们 将分别进行介绍。 1 资料管理子系统 资料管理子系统主要完成分布式的系统管理和节目管理功能，它是控制与管理 整个系统的关键部分，其结构如图2 1 所示。 由图可见，资料管理子系统采用了层次化的存储结构，并可以支持对多个视频 服务器、多个光盘库的管理。 光盘库是系统的后备库，资料管理子系统将超过一定时限、暂时不使用的视频 资料转移到光盘库进行存储。如果视频服务器的磁盘阵列需要存储的节目过多， 也可以暂时将一部分调用较少的节目移入光盘库。系统采用的光盘库是h p 公司 的6 6 0f x 型光盘库，它有2 5 6 个光盘槽位，每个光盘的容量为5 2 3g b ，光盘库的 总容量可达到1 2t b 。光盘库使用h p 公司的m o 磁性光盘，可重复擦写1 0 0 万 次，而且光盘n - q 【= ! a 从光盘库中取出单独存放。光盘库中有6 个光盘驱动器，可同 9 北京邮电大学硕士学位论文 时对6 张光盘进行读写操作，每个驱动器的读取速率可达到2m b s 。光盘库通过 s c s l ( 小型机串行接口) 总线与控制计算机相连，控制计算机通过这条总线传送 控制命令以及存储资料的数据。 圈2 1 资料管理子系统结构圈 磁盘阵列则存储着可供用户即时调用的节目，它也是通过s c s i 总线与视频服 务器相连。为傈证实时调用的服务质量，磁盘阵列使用s g i 公司的实时文件系统 x f s 。 资料管理工作站是资料管理子系统的核心控制设备，它负责完成所有的系统管 理与节目管理操作。光盘库的控制是由文档服务器来完成的，资料管理子系统所 有针对光盘库的操作都是经过文档服务器进行的。光盘库和磁盘阵列中的视频节 目描述信息都存储在中心数据库之中，管理员据此可以查询到存储的视频节目并 负责节目的维护。资料管理子系统的实现是本文的主要内容之一，其设计难点、 解决方案和工作流程将在下一章中进行详细阐述。 2 素材共享及提取子系统 素材共享及提取子系统主要完成素材的共享、选择和获取功能，用户通过该子 系统查询和浏览资料库中的节目，寻找到感兴趣的节目后，再进行较精确的片断 选取，最后系统根据用户提交的素材剪切列表文件，将用户选取的节目片断从高 压缩比文件( 目前系统中使用的是m p e g - 1 文件) 中截取出来，并传送到粗编站 上，作为粗编的素材。系统允许用户同时调用两级库中的节目，为了使读者有个 较为明确的认识，下面我们将对其工作过程进行简要描述，系统的结构如图2 - 2 所示。 1 0 北京邮电大学硕士学位论文 圈2 - 2 素材提取子系统绮构圈 素材提取操作的发起者是查询浏览工作站，它首先与w e b 服务器通信，通过 网页查询一级库和二级库中的节目信息，因为每个节目都伴随存储着它的关键帧 和m p e g - i 文件，所以用户对感兴趣的节目可以要求浏览其关键帧和m p e g - 1 文 件，以便了解节目的详细内容，并进行素材的选取。用户提出浏览要求后，w e b 服务器将向接纳控制服务器发起连接请求，如果接纳成功，w e b 服务器生成相应 的描述文件传给查询浏览工作站。查询浏览工作站解析描述文件，向接纳控制服 务器提出浏览申请。如果请求接纳成功，接纳控制服务器将向查询浏览工作站进 行确认，同时解析请求报文，并根据节目所在位置，向相应的视频服务器和文档 服务器发出命令，要求将对应的关键帧或m p e g - 1 文件发送到查询浏览工作站。 系统中，考虑到节目的关键帧文件占用的存储空间不大，我们将级库和二级库 中所有节耳的关键帧都存储在视频服务器上。因此，如果用户要求浏览的是节目 的关键帧，则系统对两级库节目的调用没有区别，都由视频服务器来进行关键帧 的发送。而当用户要求测览二级库节目的m p e g - 1 文件时，接纳控制服务器首先 需要通知用户进行等待，与此同时，将二级库节目的如p e ( 3 - 1 文件整体迁移到视 频服务器上。当隔一段时间后，用户再次发起请求时，系统才可以象处理用户浏 览一级库节目的m p e g - 1 文件请求一样，由视频服务器负责将对应的m p e g - 1 文 件打成r t i ( 实时传输协议) 包，并传送给查询浏览工作站。 用户浏览并对节目进行片断选取的结果记录在素材剪切列表文件中，当用户完 成所有的素材选取操作后，就可以将此文件提交给接纳控制服务器，由它来进行 文件的解析，并根据素材所在位置，向相应的视频服务器和文档服务器发出素材 剪切迁移命令，最后由视频服务器和文档服务器将要求剪切的m p e g - i 文件片断 北京邮电大学硕士学位论文 传送到粗编站上，同时按纳控制服务器也将素材剪切列表文件传送到粗编站，以 便与素材相对应，至此素材提取过程就结束了。 3 节日制作子系统 节目制作子系统主要完成节目编辑制作的功能，其结构如图2 - 3 所示。 视频服务器编辑机控制台配音工作站翻译工作站管理中心 圈2 - 3 节目翻作子系统结构圈 由图可知，节目制作子系统实际包含两大功能。一个功能是对各种来源的视频 信号进行采集、翻译、配音和编辑，此功能使得编辑系统的信息输入方式非常灵 活，并能极大地丰富节目制作的素材。另一个功能则是利用素材提取子系统获得 的素材进行粗编，并在粗编完成后，根据粗编生成的e d l ( 编辑决策列表) 文件， 获取低压缩比、高质量的节目片断，之后进行精编，直到生成最终的节目。 非线性编辑机是系统的精编设备，它可以采集模拟视频信号，将其实时数字化 压缩成m - p e g 格式的文件，并存储在它的附属硬盘上，作为精编的素材。由于 m - p e g 格式的文件压缩率很低，数据量大，不适于大量存储，所以要通过m p e g 采集站进一步压缩成m p e g 格式的文件。管理中心负责控制素材的采集，并负责 将这些素材分配给不同的翻译人员进行翻译，翻译完成后，再分配给配音人员进 行配音，最后将配音文件传输到非线性编辑机上，与素材文件存储在一起，供节 目制作人员进行节目制作选用。 对于通过素材提取子系统获得的m p e g 1 素材，节目制作人员首先在粗编站 上对其进行粗编，并根据素材剪切列表文件生成粗编后的e d l 文件，然后系统将 此e d l 文件提交给接纳控制服务器。接纳控制服务器则负责对e d l 文件进行解 托京邮电大学硬士学位论文 析，并根据素材所在的位置，向相应的视频服务器和文档服务器发出m p e g - 2 文 件剪切传送命令，由它们来将要求的m p e g - 2 节目片断剪切出来，并传送到非线 性编辑机，完成这些剪切迁移操作后，接纳控制服务器还要将e d l 文件传送到非 线性编辑机。最后，节目制作人员根据非线性编辑机上的e d l 文件及其对应的 m p e g - 2 素材进行最后的精编工作，完成节目的制作过程。 北京邮电大学硕士学位论文 第三章分布式多媒体编辑及素材共享系统的存储管理 对于大型的多媒体应用系统来说，存储子系统的设计是整个系统设计和构建的 基础，这是由多媒体应用以大容量多媒体数据的存储和传输为核心所决定的。在 本章中，我们以存储管理为主要线索，一方面详细描述了分布式多媒体编辑及素 材共享系统的存储结构、基础数据结构设计及多媒体数据在存储系统中的维护和 走向控制，另一方面讲述了如何对系统、各种设备以及存储介质进行有效管理。 3 1 系统中心数据库设计 信息的存储和管理都离不开数据库的支持。我们在绪论中谈到过，多媒体的发 展使得多媒体数据库的研究和开发成为必要，但是由于其过于复杂，目前仍然没 有成熟产品出现，因此我们只能基于现有的数据库，来构造能够满足我们要求的 多媒体数据库。现行的数据库可以分为关系型数据库、面向对象的数据库以及对 象一关系型数据库。面向对象数据库能够支持非常复杂的数据模型，从而特别适 用于工程设计领域。打个比方，想象c a d 中的一个复杂部件，它可能由成千上万 个不同的零件组成，要是用关系模型中的表来表达，表的数晕将是极其庞大，而 且是几乎不可实现的。而描述这种复杂的部件，正好是高级程序设计语言的强项。 此外，面向对象数据库还吸收了面向对象程序设计语言的思想，如支持类、方法、 继承等概念。但由于模型较为复杂，而且缺乏数学基础，使得很多系统管理功能 难以实现( 如权限管理) ，同时它也不具备s q l 处理集合数据的强大能力。虽然 关系型数据库在设计方面以及在与高级程序语言的接口方面存在着缺陷，但在数 据库系统方面发展得非常完善，有强大的管理功能和可操纵性。另外，关系模型 具有坚实的数学基础【l 】。 考虑到关系型数据库具有当前最成熟的数据库产品，因此我们应用了关系型数 据库。利用数据库来存储和管理多媒体信息中的文字描述信息，而将相关的多媒 体数据存储在专用的存储设备上，然后建立数据库记录与存储设备之间的关联， 最终形成对多媒体数据的有效管理。在数据库设计过程中，我们采用了面向对象 的设计方法，并将设计结果一对象模型一映射到关系型数据库之中。 3 1 1 关系型数据库简介 所谓关系数据库系统指的是支持关系模型的数据库系统，关系数据库应用数学 方法来处理数据库中的数据。系统而严格地提出关系模型的是美国i b m 公司的 e f c o d d ，他从1 9 7 0 年起连续发表了多篇论文，奠定了关系数据库的理论基础。 1 4 北京邮电大学硕士学位论文 关系模型由数据结构、关系操作集合和完整性约束三部分组成2 1 。 关系模型的数据结构非常单一，在用户看来，关系模型中数据的逻辑结构是 一张扁平的二维的表。但关系模型的这种简单的数据结构能够表达丰富的语义， 描述出现实世界的实体以及实体间的各种联系。在关系模型中，无论是实体还是 实体之间的联系均由单一的结构类型即关系( 表) 来表示。关系可以有三种类型： 基本关系( 通常又称为基本表或基表) 、查询表和视图表。基本表是实际存在的表， 它是实际存储数据的逻辑表示。查询表是查询结果对应的表。视图表是由基本表 或其他视图表导出的表，是虚表，即不对应实际存储的数据。 关系的描述称为关系模式。关系实际上就是关系模式在某一时刻的状态或内 容。也就是说，关系模式是型，关系是它的值。关系模式是静态的、稳定的，而 关系是动态的、随时间不断变化的，因为关系操作在不断地更新着数据库中的数 据。但在实际当中，常常把关系模式和关系统穆为关系，读者可以从上下文中加 以区别。在关系模型中，实体及实体问的联系都是用关系来表示。在一个给定的 现实世界领域中，相应于所有实体及实体之间的联系的关系的集合构成一个关系 数据库。 关系操作采用集合操作方式，即操作的对象和结果都是集合，这种操作方式称 为一次一集合的方式。关系模型中常用的关系操作包括：查询操作一选择、