（微电子学与固体电子学专业论文）非线性编辑系统中媒体资产管理技术的研究.pdf

华中科技大学硕士学位论文 摘要 伴随着集成电路制造技术和计算机应用技术的快速发展，非线性编辑系统应运而 生。目前虽然普及程度还远远达不到传统编辑设备的水平，但是其特有的优越性越来 越引起人们的重视，它是未来音频视频编辑方式的发展方向。 媒体资产管理是一个对各种媒体及内容( 如视音频资料、文本文件、图表等) 进行 管理。它满足媒体资产拥有者收集、保存、查找、编辑、发布各种信息的要求，为媒 体资产的使用者提供访问内容的简便方法，高效地保存和利用媒体资产。 媒体资产管理系统是非线性编辑系统的重要组成部分。非线性编辑系统主要功能 是对媒体资产进行编辑，有效管理媒体资产是非线性编辑系统功能得到有效发挥的前 提。 本文主要是针对非线性编辑系统中媒体资产管理系统进行研究。这些媒体资产通 常采用m p e g 2 协议标准。m p e g 2 标准是针对标准数字电视和高清晰度电视在各种 应用下压缩方案和系统层的详细规定，特别适合于广播级的数字电视的编码和传送， 被认定为s d t v 和h d t v 的编码标准。 本文首先介绍了非线性编辑系统，及其与线性编辑系统的比较，然后介绍了非线 性编辑系统中媒体资产管理的体系结构及媒体资产常用的压缩格式。在此基础上，本 文介绍了两种在电视图像中插入台标的方式，一种是窗口叠加法，一种是在视频帧中 嵌入台标的方式；同时介绍了将两个基于m p e g 2 压缩编码的文件合并的方法并分析 了基于m p e g 2 压缩编码的文件合并方式中需要解决的问题和应注意的事项。它们是 非线性编辑系统所提供的媒体资产管理功能中一部分。 关键词：非线性编辑系统媒体资产管理媒体资产存储 台标插入文件合并 华中科技大学硕士学位论文 a b s t r a c t w i t l lt h e d e v e l o p m e n to fi n t e g r a t e c i r c u i tm a n u f a c t u r e t e c h n o l o g ya n dc o m p u t e r a p p l i c a t i o nt e c h n o l o g y , n o n - l i n e a re d i t i n gs y s t e mc o m e s i n t ob e i n ga n dd e v e l o p sv e r yf a s t t h o u g hl e s sp o p u l a rt h a nt r a d i t i o ne d i t i n gs y s t e m ，t h en o n - l i n e a re d i t i n gs y s t e ma r o u s e s a b r o a da t t e n t i o nd u et oi t sa d v a n t a g e s t h en o n - l i n e a re d i t i n gs y s t e mi st h ed i r e c t i o no f a u d i oa n dv i d e oe d i t i n gs y s t e mi nt h ef u t u r e t h em e d i aa s s e t sm a n a g e m e n ts y s t e m p r o v i d e sac o n v e n i e n c em e a n s t oc o l l e c t ，s t o r e ， u t i l i z et h em a t e r i a lf o rt h ea s e r t h em e d i aa s s e t sm a n a g e m e n ti sap a r to fn o n - l i n e a r e d i t i n gs y s t e m e f f e c t i v e l ym a n a g i n gt h em e d i aa s s e t si st h ep r e c o n d i t i o no fe d i t i n gt h e m a t e r i a l 1 1 1 ea r t i c l ei sm a i n l ya b o u tt h es t u d y o f m a n a g e m e n tt e c h n o l o g yo f m e d i aa s s e t si nt h e n o n l i n e a re d i t i n gs y s t e m t h em e d i aa s s e t si su s u a l l yb a s e do nm p e g 2 p r o t o c a l m p e g 2 p r o t o c o li sa i m a tt h es t a n d a r dd i g i t a lt e l e v i s i o na n dt h eh i g hd e f i n i t i o nt e l e v i s i o n i tg i v e s t h ed e t a i lr e g u l a t eo f s y s t e ml a y e ra n d t h e c o m p r e s s i n gs c h e m e i na l lk i n do f a p p l i c a t i o no f t h es t a n d a r dd i g i t a lt e l e v i s i o na n dt h eh i g hd e f i n i t i o nt e l e v i s i o n m p e g 2p r o t o c o ls u i t st o t h ec o d i n ga n dt r a n s m i t t i n go ft h eb r o a d c a s t i n gd i g i t a lt e l e v i s i o ni np a r t i c u l a r m p e g 2 p r o t o c o li st a k e n f o rt h ec o d i n gs t a n d a r do fs d t va n d 皿t v f i r s t ，t h i sa r t i c l ei n t r o d u c e st h en o n l i n e a re d i t i n gs y s t e m ，t h ed i f f e n c eb e t w e e nt h e n o n l i n e a re d i t i n gs y s t e ma n dt h el i n e a r e d i t i n gs y s t e m ，t h em e d i aa s s e t sm a n a g e m e n t s e c o n d ，t h i sa r t i c l ei n t r o d u c e st h em e d i aa s s e t sc o m p r e s sf o r m a ti nc o m n l o nu s e ，t h ef r a m e o ft h en o n - l i n e a re d i t i n gs y s t e ma n dt h em a t e r i a la s s e t sm a n a g e m e n t f i n a l l y , w es t r e s so n h o wt oi n s e r ti c o ni nt h et v p r o g r a ma n dh o w t om e r g et w of i l e sb a s e do nt h em p e g 2 ， w h i c hi sa p a r tf u n c t i o n so f t h em e d i a a s s e t sm a n a g e m e n t k e y w o r d s ：n o n l i n e a re d i t i n gs y s t e m m e d i aa s s e t sm a n a g e m e n t s t o r a g eo f m e d i a a s s e t si n s e r ti c o nf l i e sm e r g e 华中科技大学硕士学位论文 1 1 引言 1 绪论 随着数字技术的发展，计算机已深入到广播电视事业之中，其中最具有代表性的 就是非线性编辑系统的出现。它把多媒体、交互性、网络化带入了影视行业，为电视 的后期制作带来了意想不到的高质量、新创意的视频和音频效果。 非线性编辑系统是用计算机把视频音频信号采集压缩转换成数据文件，存放在电 脑中，脱离录像带对硬盘中的视频视频数据文件进行修改、混和、编辑形成目标文件， 然后再输出录制在磁带上。它是一门集合电视技术、数据编码技术、数字图像处理技 术、数字存储技术、计算机图形技术、数字音频系统为一体的高科技产物。 处于信息时代的今天，无论在企业的内部网、外部网或公共网上，都充满着数字 化的多媒体内容，信息量在不断地快速增长，从文字、数字、图形到视频、声音、地 图空问数据、时间序列、影像、字处理文件、演示文稿、电子表格、桌面排版内容以 及各种程序、w e b 站点等等。我们都可以称之为媒体资产。媒体资产管理系统是对各 种类型媒体内容进行全面有效管理的总体解决方案，把现存和需要的媒体信息进行汇 集、保存、管理使之合理化，从而使媒体资产得到充分利用，并发挥最大的作用。我 国的广播电视行业现在正处于模拟转数字的时期，大量的数字设备已经取代模拟设备 成为电视台的主流设备，非线性编辑系统正在取代线性编辑系统。非线性编辑系统中 的媒体资产管理系统通过各种新的数字技术来实现媒体资产的编辑管理功能，可以解 决现在电视台编辑的种种缺陷，并减轻管理负担，扩大用户的影响能力，给用户带来 新的经济增长点【2 j 。 1 2 非线性编辑系统与线性编辑系统的比较 和线性编辑系统相比，非线性编辑系统具有以下优点： 1 ) 非线性编辑系统在制作环节上最大的优势是可以很容易地完成多层图像的特 华中科技大学硕士学位论文 技制作，且不用翻版复制，还能保持高清晰度的图像质量【3 】。 做一个多层图像特技就像搭积木一样在视频轨道上一层一层往上搭。同时还可以 任意监看不同的视频层，可以随时进行修改、删除等。另外，非线性编辑系统只需使 用鼠标拖拽功能就可以完成画面素材的长度、位置的改变，并且可以做黑场、白场、淡 入、淡出的图像处理，图像颜色的调整及静帧、抽帧、快格、慢格等图像速度参数调 整也变得非常简单。非线性编辑系统还提供了一定数量的特技效果，制作者可直接调 出使用，也可进行各种“自定义”设置，改变其中的某些参数，以取得更完美的效果。 2 ) 从工作过程的特点来说，非线性编辑系统具有更大的优越性。 传统的视频编辑系统是使用磁带为存储媒体的，以线性方式一个镜头接一个镜头 记录下来，在检索时需要通过镜头1 和镜头2 才能达到镜头3 ，不易进行节目的修改。 而非线性编辑系统是使用盘式存储媒体进行编辑数字化视频音频数据，数字硬盘上的 信息是按照磁盘操作系统规则进行分配的，它可以越过可用的地址位置指派信息以及 可以记忆如何以一个特别说明的顺序去恢复信息，信息存储样式与接受信息的顺序不 相关，也就是，它可以随机访问，以任意顺序调出任何镜头，而不通过前面的材料， 可以迅速准确地寻找素材，简易快捷地对素材进行调整和置换。 3 ) 非线性编辑系统与传统设备相比，最重要的优越性就在于音视频节目的编辑 制作及修改过程中。 传统的线性编辑，是指使用编辑放像机、编辑录像机、编辑控制器、特技机、字 幕机、动画机、调音台等设备组成的线性编辑系统，对录像资料进行编辑制作的过程。 它的缺点是信号复制后劣化严重，设备容易受损，可靠性相对较低，系统构成复杂等 等。在非线性编辑过程中，将所有素材( 如活动画面、静止画面、字幕、声音等) 全部 存于计算机硬盘上，在计算机中完成画面的合成、特技效果处理、配音及字幕工作， 所有合成后的画面也以数字方式记录在硬盘上，最后再将硬盘里的画面重放出来记录 在磁带上，从而完成整个编辑。由于整个编辑过程中( 即由计算机软件完成的各种运 算处理如叠化、特技等) 数字信号是不会发生改变的，也就是说图像、视频信号的质 量就不会因反复编辑而劣化，从而保证了节目画面的高质量和艺术上的高质量。 4 ) 非线性编辑系统硬件软件可根据需要灵活组建 华中科技大学硕士学位论文 由软件和硬件共同组成的非线性编辑系统的软件品种多、质量高、内容丰富且层 出不穷，硬件各有优势和特点，可以极方便地把它们综合在一起，提供多方面的应用 功能。而几乎由纯硬件组成的传统编辑系统则几乎是无法升级的。 在非线性编辑系统中用户可以根据需求定制扩充升级，并可以利用现有软硬件条 件进行二次开发；系统的网络化发展将使得计算机之间实现数据共享，真正实现计算 机控制播出；由于计算机的开放性，目前绝大多数视频后期软件和三维动画软件厂商 为其丌发特殊效果插入件( p l u gi n ) ，可以实现一些原先软件所无法提供或者极其 繁复的功能，扩展软件的附加价值，这也是计算机后期制作系统相对于传统后期制作 系统的最大差异【。 5 ) 非线性编辑的网络化 非线性编辑系统可以接入到单位的网络中，当节目素材经数字化采集到硬盘后即 可供多位编辑人员访问调用。不仅可以共享素材，而且某人的编辑工作中的中间过程， 也可供给其它人员参考调用。 在非线性编辑系统给工作带来方便的时候，也存在如下缺点： 1 ) 上、下载耗时 用非线性编辑系统制作节目的第一步是将素材磁带上的素材上载到硬盘中，实际 是一个将模拟信号数字化的过程。只有当素材转换为数字信号存在硬盘中后，才能对 其随机存取，体现非线性的优越性。而上载这一必不可少的过程需要花费相当于重放 一遍的时间，并不象传统设备那样，有些素材找到入点便可直接录制。这一上载过程 使非线性编辑在快速、省时上打了折扣。对于一些形式简单的节目，比如新闻等，绝 大多数是镜头切换，不需要加什么特技，在传统机器上只要快速确定入、出点，只需 花一遍录制的时间。而在非线性编辑系统中却要上、下载一遍，反而很不合算了。 2 1 存储容量的局限 硬盘存储素材的多少取决于两个因素，一是硬盘本身的大小，二是图像压缩比的 大小。压缩比大，一定容量硬盘存储的素材量就大，而图像质量会相应降低。一般单 位配置的硬盘容量都是有限的，很少有单位能建立起硬盘阵列，这在一定程度影响了 非线性编辑系统功能的发挥。 华中科技大学硕士学位论文 3 ) 多次压缩扩展后图像质量劣化 非线性设备中的记录媒体主要是硬盘，其单位时间媒体记录的价格比较昂贵，因 此目前节目成品片仍是录制在磁带上保留并供播出的。当此时的成品片需要修改，而素 材和成品片在非线性系统中已被删除时，如果简单省事直接将成品片再次上载，就会 发现，这种级联地压缩、解压缩处理使图像质量严重劣化，其劣化程度比直接在磁带 上复制要严重。 4 ) 无限层叠加和实时特技 在所有的非线性系统的宣传中，”无限层叠加”和”实时特技”都是十分引人注目和 吸引人的。但实际应用中会发现，所有类似的提法都是有前提、有局限的。非线性系 统中的特技，要么依靠硬件完成，要么依靠计算机完成。硬件所能提供的实时通道是 有限的，因此实时的层数是有限的。由于计算机本身数据传输的局限，越是层数多的 效果，越要耗费大量的时间去生成计算。所以在实际中存在特技层数和生成时间之间 的矛盾关系。 1 3 非线性系统中的媒体资产及其管理 通过上述比较，可以看出非线性编辑系统比线性编辑系统的优越性主要体现在对 媒体资产进行有效的管理上。 媒体资产管理是一个端到端的、对各种媒体及内容( 如视音频资料、文本文件、 图表等) 进行全面管理的总体解决方案，包括数字媒体的采集、编目、管理、传输和 编码转换等所有环节，满足媒体资产拥有者收集、保存、查找、编辑、发布各种信息 的功能要求。 媒体资产管理主要针对栏目的制作和后期制作的过程。除了视频、音频、图像、 文档资料以外，媒体资产还包括制作栏目的指引档案、文稿和e d l 等。媒体资产管 理系统主要由信息处理、内容管理和内容存储三大子系统组成，综合了数据压缩、存 储、计算机网络、数据库和媒体分析等技术。 随着全球化卫星广播的发展，广播媒体竞争的加剧，人们对优质节目的需求在不 断提高。为了迎合不同观众的要求，同一个素材有可能被循环再用、重新包装多次， 4 华中科技大学硕士学位论文 以制作不同类型的节目。而为了适应节奏变化加快的市场需求，保持竞争能力，媒体 制作和娱乐公司需要更高的制作灵活性，这就要求能更快地找出所需的媒体素材并重 新包装、再用。构成栏目的素材含有种种商业信息，包括版权、可容许播出的次数、 购买版权的成本和付费方式等，都显得非常重要。因此，电视广播机构很有必要建立 一个高效的媒体资产管理系统，它能帮助电视广播机构更有效地制作高质量的节目， 并提供有效的成本和风险管理。 目前非线性编辑系统中媒体资产采用的压缩格式主要有m j p e g ，m p e g 2 ，d v 等。国内发展方向为采用m p e g 2 ，而国外使用d v 格式较多p 】o 1 4 本课题的任务及内容安排 本课题的主要任务是：在对非线性编辑系统的系统结构了解的基础上，对非线性 编辑系统的媒体素材管理技术进行研究，提出在播放的电视节目中如何插入台标和实 现文件合并的方案。我们可以通过这两种方案加深对非线性编辑系统的编辑方式的理 解。 本文的内容安排如下： 第1 章介绍了菲线性编辑系统，通过与线性编辑系统的比较，我们可以看出虽然 非线性编辑系统还存在这样那样的缺点，但随着科技的发展，这些困难的解决，非线 性编辑系统取代线性编辑系统是大势所趋；同时也介绍非线性编辑系统中媒体资产及 其管理技术，媒体资产管理是非线性编辑系统的重要组成部分。 第2 章介绍了视频音频中常用的一些压缩编码技术和媒体资产管理中常用的协议 m p e g 2 协议。m p e g 2 协议在非线性编辑系统的媒体资产管理中得到广泛使用，以下 我们讨论的台标的插入和文件的合并所涉及的传输流都是基于m p e g 2 协议。 第3 章介绍了非线性编辑系统的体系结构。采用p c 平台的非线性编辑技术是非 线性编辑系统发展方向，这里介绍非线性编辑系统的硬件平台就是基于p c 平台的， 对其中的双通道图像处理卡的工作原理进行详细介绍：同时介绍了非线性编辑系统中 媒体资产管理系统的基本结构，媒体资产管理系统的功能基层次结构，媒体资产管理 系统如何与其他部门的配合以及媒体资产的存储等等有关媒体资产管理的基本问题。 华中科技大学硕士学位论文 在第四章、第五章对媒体资产管理中的部分编辑进行介绍。 第4 章分别介绍了两种对台标的插入方式：第一种是直接在视频帧的相关位爱生 成新窗口，在新窗口中放置台标；第二种是通过相应的图象处理方式将台标嵌入到每 一帧视频帧中。 第5 章介绍了基于m p e g 2 的文件的合并。在合并的过程中将涉及到文件的衔接 流畅、时间的f 确显示、时间基点的一致性、流速的控制和相关字段进行一致性的修 改等等问题，最后对文件合并中应该注意的问题进行分析。 第6 章对台标的插入和文件合并的设计、开发工作进行了总结。 6 华中科技大学硕士学位论文 2 非线性编辑系统中媒体资产常用压缩编码技术 2 1 数据编码基础 数据的海量性是多媒体技术发展中的一个非常棘手的瓶颈问题，解决这一问题的 办法，单纯用扩大存储器容量、增加通信干线的传输率的办法是不现实的。数据压缩 技术是一个行之有效的方法，通过数据压缩手段把信息得数据量压缩下来，以压缩的 形式存储和传输，即节省了存储空间，又提高了通信干线的传输效率，同时也使计算 机实时处理音频视频信息，以保证播放出高质量的视频音频节目成为可能( 5 1 。 数据编码可以分为冗余度压缩和熵压缩两大类，其中统计编码属于冗余度压缩， 而预测编码、变换编码等属于熵压缩【6 】。 常用的编码技术有：统计编码、预测编码、变换编码。 2 1 1 视频编码技术 数字视频是由数字图象的时间序列构成的。每一幅这样的图象称为一帧。 常用的视频编码技术有： 1 ) 变换编码 在视频编码中，常采用的变换编码是离散余弦变换。它根据变换系数的能量分布， 可以将图象划分为不同的区域，其中变换后幅值较大的图像系数大多集中在图像块的 左上角。与其他系数相比，这些低频数据具有的能量最大，包括了图象的大部分内容， 在变换图象中的地位最重要，应使它们的量化误差最小。同样，对于图像快的其他区 域，也应采用与该区域相配的量化和编码方式。这种按能量分布对不同区域采用不同 的量化编码的方法称为区域编码。另一方面，变换图象中有许多系数幅度很小，只具 有原图像中很小比例的能量，对图像影响甚微，因此一般设定阈值的方法，置小于阂 值的变换系数为零。 2 ) 预测编码 预测编码可以在一幅图象内进行( 帧内预测编码) ，也可在多幅图象之间进行( 帧间 华中科技大学硕士学位论文 预测编码) 。 帧内预测编码一般采用象素预测形式的d p c m ，其优点是算法简单，易于硬件实 现。缺点是对信道嗓声很敏感，会产生误码扩散，使图象质量大大下降。 帧f sj 预测编码主要用于利用视频序列相邻帧闻的相关性，即图像数据的时间冗余 来达到压缩的目的，可以获得比帧内预测编码高的多的压缩比【7 】【8 】。 2 1 2 音频编码技术 常用的话音编译器分为三种类型：波形编译码器、音源编译码器和混合编译码器。 一般来说，波形编译码器的话音质量高，但数据率也高；音源编译器的数据率低，产 生的合成话音质量有待提高；混合编译码器使用音源编译码技术和波形编译码技术， 数据率和音质介于它们之间 9 u 0 】。 1 ) 波形编译码器 波形编译码的想法是，不利用话音的任何知识而企图产生一种重构信号，它的波 形与原始话音波形尽可能一致。这种技术是企图从过去的样本来预测下一个样本值。 这样做的根据是认为在话音样本之间存在相关性。采用的编码是差分脉冲编码调制 d p c m 。 自适应差分脉冲编码调制a d p c m 综合了a p c m 和d p c m 系统的差分特性，是 一种性能比较好的波形编码。它的核心思想是：利用自适应的思想改变量化阶的大小， 即用小的量化阶去编码小的差值，使用大的量化阶去编码大的差值，使用过去的样本 值估算下一个输入样本预测值，使实际样本值和预测值之间的差值总是最小。接受端 的译码器使用与发送端相同的算法，利用传送来的信息确定量化器和逆化器中的量化 阶大小，并且用来预测下一个接收信号的预测值。它的编码框图如下所示： 图2 1a d p c m 方框图 p c m 差值 华中科技大学硕士学位论文 这种在时域旱的编码方法称为时域法。在波形编译码器中人们还使用了另外一种 方法，叫做频域法。例如在子带编码中，输入话音信号被分为几个频带，变换到每个 子带中的话音信号都进行独立编码，在接受端，每个子带中的信号单独解码后从新组 合，然后产，土重构话音信号。这样傲的优点是每个子带的噪声信号仅仅与该子带使用 的编码方法有关系。对听觉感知比较重要的子带信号，编码器可分配比较多的位数来 表示它们，于是在这些频带范围内的噪声就比较低。对于其它子带，由于对视觉感知 重要性比较低。允许比较高的噪声，于是编码器就可以分配比较少的位数来表示这些 信号。在信道上传送时，将每个子带的代码复合起来。在接受端译码时，将每个子带 单独译码，然后把它们组合起来，还原成原来的音频信号。 1 三h 寸 复 分 三卜时 ； i 台解 ： 亘) 怔歹卜 器器 信遭 图2 2 子带编码方框图 2 1 音源编译码器 音源编译码器的想法是企图从话音波形信号中提取生成话音的参数，使用这些参 数通过话音生成模型重构出话音。在话音生成模型中，声道被等效成一个随时间变化 的滤波器，叫做时变滤波器，它由自噪声一无声话音段激励，或者由脉冲串一有声话 音段激励，因此需要传送给解码器的信息就是滤波器的规格、发声或者不发声的标志 和有声话音的音节周期，并且每隔l o 2 0 m s 更新一次。声码器的模型参数即可使用 时域方法也可使用频域方法来确定，这项任务由编码器完成。 3 ) 混合编译码器 波形编译码器虽然_ 可以提供高质量的话音，但数据率低于1 6 k b p s 的请况下，在 技术上还没解决音质问题；声码器的数据率虽然可以降到2 3 k b p s 甚至更低，但它的 音质根本就不能与自然话音相提并论。混合编译码器的想法是企图填补波形编译码和 华中科技大学硕士学位论文 音源编译码之i 旬的i 司隔。得到普遍使用波形编译码器是时域合成一分析a b s 编译码 器。 图2 3a b s 编码器结构 三至三三二 _ 丛尘 二垂垂至三二 乌重构话音 图2 4a b s 译码器 a b s 这种编译码器使用的声道线性预测滤波器模型与线性预测编码使用的模型相 同，不使用两个状态的模型来寻找滤波器的输入激励信号，而是企图寻找这样一种激 励信号，使用这种信号激励产生的波形尽可能接近于原始话音波形。 2 2m p e g 2 协议 m p e g 2 标准是在m p e g l 标准的基础上的进一步扩充和改进，它是数字电视与 机顶盒与d v d 等产品的基础。 m p e g 2 的系统部分强调将一个或更多的音频、视频或其他的基本数据流合成为 单个或多个数据流，以适应于存储和传输。按照该说明中的句法和语法进行系统编码， 可以在一个很宽的恢复和接受进行同步译码。 2 2 1系统层 传输流是从p e s 分组按照一定的语法规则来生成的。p e s 流中不包含一些传输流 或程序流所包含的一些系统信息：组头、系统头、程序流映射、程序流目录、程序映 射表以及传输流分组语法等信息。 在编码的时候，传输流由原始流、程序流或其他传送流的内容多路复用而成。数 1 0 华中科技大学硕士学位论文 据流被暂时分成分组包，而且保持串行顺序。一个p e s 分组包包含只有一个原始流的 编码数据 1 2 】。 1 ) 传送流的编码结构和参数： 传送流的编码层允许将一道或多道程序合为单个流。程序是一些有着相同时间基 点的原始流的集合。视频原始流的显示单元就是一幅图像，相应的访问单元包含此图 像的所有编码数据。一个音频原始流的显示单元相应于一个音频帧的同步字的第一个 字节开始。 2 ) 传输流目标解码器( t - s t d ) ： 传送流的语义要求严格定义字节到达、解码事件以及它们发生的时间。在m p e g 2 中借助传送流系统目标解码器这个虚拟的解码器来完成这些定义。 图2 5 传送流系统目标解码器的表示法 i ，i7 ，i ”传输流中字节的序号 j 原始流中访问单元的序号 k ，k ，k ”原始流中显示单元的序号 n 原始流的序号 t ( i )指示传送流中第i 个字节进入系统目标解码器的时间，以秒为单位 a 。( j )是原始流r l 中第j 个访问单元。注意，访问单元按解码顺序排序 华中科技大学硕士学位论文 t d 。( j )原始流1 3 中第j 个访问单元在系统目标解码器中解码的时间，以秒 为单位 p 。( k )原始流n 中第k 个显示单元 t p 。( k )原始流i 1 中第k 个显示单元在系统目标解码器中解码的时间，以秒 为单位 b 。在系统目标解码器中属于原始流n 的主缓冲区 b ，；在系统目标解码器中属于正在解码的程序的系统信息的主缓冲区 t b ：。在系统目标解码器中属于正在解码的程序的系统信息的输入缓冲区 t b 。在系统目标解码器中属于原始流r l 的传送缓冲区 d 。，；为程序流n 的系统信息解码的解码器 d 。为原始流n 解码的解码器 0 。将视频原始流n 重排的缓冲器 r ；，；数据从b ，中移出的速率 3 ) 系统时钟频率： t - s t d 中的所有时序信息以程序系统时钟的采样值的形式编码于p c r 字段中。实 际的解码器可根据这些值以及它们到达的时间重建时钟。 传送流系统目标解码器的输入： 数据从传送流进入t - s t d 的速率是一个分段常数。第i 个字节在时间t ( i ) 进入， 这个字节进入t - s t d 的时间可以通过对输入流的程序参考时钟( p c r ) 字段解码而恢复， 此字段被编码在传送流分组的调整字段中。p c r 分两部分进行编码：一个以系统时钟 频率的1 3 0 0 为单位，称为p c rb a s e 。一个以系统时钟频率为单位，称为p c re x t 。 编码在p c r ( i ) 中的值代表了t 【i ) i 指包含p c r _ b a s e 字段的最后一位字节【1 4 】。 具体规定如下： p c rb a s e ( i ) = ( ( s y s t e m _ c l o c k _ f r e q u e n c e t ( i ) ) d i v 3 0 0 ) 2 3 3 p c re x t ( i ) 2 ( ( s y s t e m _ _ c l o c k _ f r e q u e n c e x t ( i ) ) d i v l ) 3 0 0 p c r ( i ) 2p e r _ b a s e ( i ) x 3 0 0 + p c i o x t ( i ) 所有其他输入字节到达时间t ( i ) ，如下所示，可以由p c r ( i ”) 和此数据到达时的 传送速率计算而得。传送速率可以由在传送流中同一程序的包含最后一位的两个连续 的p c r 字段字节之间的字节数除以这两个p c r 编码时间值之间的差值来确定。 1 2 华中科技大学硕士学位论文 璺堕盟 t f i ) 2 o s t e m c 妇j i 唧+ t r a n s p o r t 阳t e ( i 1 其中： i程序中正在被解码的字节序号 i ”包含程序中最近被解码的p c rb a s e 的最后一位字节的序号 p c r ( i ”) 编码在p c r b a s e 和p c r e x t 字段中的时间，以系统时间为单位 传送速率t r a n s p o r t由下式决定：rate fms口o，f，wfp：(i-ii)xsystem_clock-frequence 1 一p c r ( i ) 一p c r ( i ”) 其中： i 程序中即将被译码的p c rb a s e 最后一个字节的序号 2 2 2 视频层 编码的视频数据由以称作层的比特流序列组成。如果仅有一层，那么这编码的视 频数据称为不分级的视频比特流。如果有两层或更多层，那么这些编码的视频数据称 为被划分等级。 第一层称为基本层，它总是可以独立解码的。其他层被称为增强层，它只能由基 本层开始，与所有的底层f 在序列中前面的层) 一起解码。 通常视频比特流可被看作语法的等级体系，其中各语法结构又包含一个或更多的 从属结构【1 5 】。 编码视频位流结构如表2 - t 所示。 表2 - 1 编码视频位流结构 语法层次功能 序列层随机存取单元：上下文 图象组层随机存取单元：视频 图象层基本编码单元 片层重同步单元 宏块层运动补偿单元 块层d c t 单元 华中科技大学硕士学位论文 一个视频序列以一个序列头开始，后面可选地跟着组图像的头和一个或更多的 编码帧。编码帧在比特流中的顺序就是解码器处理它们的顺序，但不一定就是显示它 们的顺序旧。视频序列以一个s e q u e n c ee n dc o d e 终止。在一个视频序列的不同地方， 某一特定的编码帧的前面可能会有一个重复的序列头或一组图像头，或两者都有( 当 一个重复的序列头和一组图像头紧挨着位于某一特定编码帧前面的时候，图像组头应 跟在重复序列头的后面p8 】【”1 。 + 在圈组头后的第一幅图应为i - 图 图2 6 视频高层比特流组织结构图 2 2 3音频层 m p e g 2 音频标准包括可以向后兼容多声道声音、低取样率，以及像a a c 这样的 非向后兼容的多声道形式 z l 】， m p e g 2 音频标准描述了3 层编码。第一层的复杂度最小，它用来处理相对高的 数据传输速率；第二层是在第一层的基础上用比较复杂的方法来处理较低数据传输速 率：第三层与第一、二层不同，是最复杂的，对最低数据传输速率( 每声道大约6 4 k b s ) 进行处理，第三层的文件就是通常所说的m p 3 文件。3 个编码器的处理过程类似，音 频信号通过过滤器组在频域内进行分析。将二次取样成分作为子带值或频率系数，根 据心理声学模型来对子带值或频率系数进行量化 2 2 1 1 2 3 1 。 1 4 华中科技大学硕士学位论文 数丁 衍“ ( 2x 7 图2 7 第三层编码器 由于第三层使用的是霍夫曼编码的可变特性，本帧的主要数据般不跟在本帧的 头和附带信息后。本帧的m a i nd a t a 起始位在比特流中帧头之前由m a i nd a t a _ b e g i n 的 值给定的负偏移处1 口”。 1 5 华中科技大学硕士学位论文 3 非线性编辑系统中媒体资产管理系统的设计与实现 3 1 非线性编辑系统的体系结构 非线性编辑系统是在多媒体计算机的基础上构造出来的专用数字视音频后期制 作编辑系统。我们采用的是“带有大容量存储硬盘的高性能计算机+ 广播级指标视音 频处理卡+ 专业化非线性编辑软件”的组成架构。在这种架构的非线性编辑系统中， 计算机属于基础硬件平台，它要完成数据存储管理、视音频处理卡工作控制、软件运 行等任务，其性能与稳定性决定了整个系统的运行状态。非线性编辑软件是一整套“指 令”，它指挥着计算机和视音频处理卡等去实现非线性编辑所需的一切功能，它决定 着系统的功能完善性、操作方式和工作效率。视音频处理卡是非线性编辑系统的“引 擎”，主要完成视音频信号的a d 、d a 转换、视频数据压缩解压缩、视音频特技处 理、图文信号发生等直接的编辑功能。 非线性编辑系统构造原理图设计如下： 图3 1非线性编辑系统原理图 1 ) 中央处理系统：中央处理系统是非线性编辑系统硬件的核心，它也影响到系统 各方面的性能，如：系统启动速度、特技生成时间等。 2 ) 媒体资产存储单元( a v 资产硬盘) ：非线性编辑对，所有信号需要转换到编辑 系统的高容量硬盘驱动器上去。因此，对于多媒体资产存储单元要求容量大，还要求 其速度快、成本低、可靠性高等等。 3 ) 信号输入、输出接口单元：系统的接口对系统整体性能和系统的可靠性有决 华中科技大学硕士学位论文 定影响。 4 ) 视音频输入与输出设备：视音频输入与输出设备是进行非线性编辑时获取媒 体资产及输出节目所必须的视频记录与重放设备。 5 ) 视频监视设备视频监视设备：在进行非线性编辑时，可以随时观看节目的制 作效果。这里我们采用传统的视频监视器完成此项功能。 6 ) 监听设备：在制作电视节目时，需要监听设备进行监听音频效果，提供编辑 参考与音频质量监听。 3 1 1 非线性编辑系统的硬件平台一p c 平台 这套非线性编辑系统是将一台高性能计算机、一套非线性卡、一些辅助卡和一个 大容量s c s i 硬盘阵列构成。 本套非线性编辑系统已经将视音频采集、压缩与解压缩、视音频回放、部分实时 特技全部集成在一套卡上图像处理卡，使得整个系统的硬件结构非常简洁。 我们将计算机作为非线性编辑系统的硬件平台，将计算机的操作系统作为非线性 编辑系统的软件平台。在硬件平台上放置图像卡和媒体资产硬盘等硬件，在软件平台 上安装专用编辑软件和图像处理软件。非线性编辑系统硬件平台结构如图所示【2 6 】【”l 。 i o 接 口 ， 鼠标 键盘 硬盘光驱 软驱 显示卡 图像处理昔 图3 2 非线性编辑系统硬件平台结构 非线性编辑系统的硬件组成： 这个由双通道图像卡构成的非线性编辑系统配接如下图所示。虚线框内为机箱， 其内有安装了c p u 、内存、显示卡、图像卡的主板，安装在机箱内并连接到主板相应 华中科技大学硕士学位论文 插槽和接口上的系统硬盘、c d r o m 、软驱、鼠标、键盘及连接到显示卡上的彩显； 音频卡连接着话筒、有源音箱、放像机和录像机；图像卡连接着s c s i ( 素材) 硬盘、放 像机和录像机( 还可以连接电视监视器) 。 非线性编辑系统的工作原理可简述如下：来自放像机或其它信号源的视、音频信 号，经图像卡变换成数字视、音频信号，并利用硬件进行实时压缩，然后将压缩后的 视、音频素材数据流分别存储到s c s i 硬盘中。采用图像编辑软件来制作电视节目。 根据创作意图，联合使用多个编辑软件对硬盘中的资产进行特技加工。最后形成一个 影片片断。输出时，数据流送至相应的板卡( 图像卡) 进行数字解压并还原成模拟信号， 用录像机记录下来。 | 胃帮i 翮i 医磊 譬l ；唉y c p u 插槽内存插槽鼠标键盘a g p 插槽 接口 土扳pci总线 i d e 接【j软驱接口 艇 盘 光 驱羹l 机箱 强1 器ii 崆视器r 一 录像机 ； - l r 1 幽蒙处理卡 ( 内含音频卡) s c s i 硬盘阵列 外置 接口 箱 放像机 ：字接口 话筒i 音箱 图3 3p c 平台1 e 线性编辑系统配接不意图 图像卡主要用于视频信号的捕捉、处理和播放，通常由几块板号组成，包括视频 捕捉卡、压缩解压缩卡和视频处理卡等，实时图像卡中还包括2 d 、3 d 板卡。其硬件 结构包括对视频信号的模数变换、解码、编码、数模信号变换和数字信号处理部分。 数字信号处理部分主要有压缩和解压缩通道、帧存储以及实现编辑和特技处理的专用 芯片。我们采用的图像卡是双通道板卡。双通道板卡实现了实时编辑和2 d 、3 d 处理。 音频卡在非线性编辑系统中，音频卡主要完成音频信号的捕捉、处理和播放。输入的 模拟音频信号经过模数变换和压缩后，形成一个文件存入硬盘，以供编辑时使用。这 华中科技大学硕士学位论文 套非线性编辑系统在图像卡上集成音频卡，解决亍e f j 亍鼍两孺谓拜弼萨百甭磊霜菰弱2 一 音频同步问题。 观q 委赢 s c s 硬盘 s c s i 接口 码 医缩，解医 缩通道a 压缩解 压缩通道 u v 图3 4 双通道图像处理卡工作原理图 3 , 1 2 非线性编辑系统的软件 滤i 雾h 磊 码i l 帧存储一 器h 税频输出 到p e i 总线 特级控 制器 系统的硬件只是完成了视音频数据的输入输出、压缩解压缩、存储等工作， 或者说只是提供了一个扩展了的计算机工作平台，还没有涉及到非线性编辑。当我们 要进行非线性编辑时，除了计算机工作平台要满足上述非线性编辑硬件要求外，还需 要配以非线性编辑应用软件，才能组成一个完善的非线性编辑系统，从而着手进行非 线性编辑工作。 这套p c 平台非线性编辑系统的软件有两部分组成，类是系统软件，另一类是 应用软件。 ，广操作系统：w i n d o w s 系统 统软件 高级语言：c 语言 p c 平台 fl 设各驱动程序：图像卡、光驱等 非线性编辑 lr 通用软件：数据库，办公自动化，辅助设计等 f 应用软件专用软件：文字处理，图形图象处理，声音处理等 。 。专用软件：用户自行开发软件 图3 5 非线性编辑系统的软件 1 9 华中科技大学硕士学位论文 3 2 非线性系统中媒体资产管理系统的设计 3 2 1 媒体资产管理系统功能及层次结构 媒体资产管理系统具有素材查询、素材维护、素材下载、素材演示、素材利用等 功能。根据实际应用，我们将系统划为三个层次：用户交互层、数据编组层、媒体数 据管理层。 用户交互层是用户接口为最终用户服务，为应用程序员服务。系统的基本操作功 能包括：模式管理、查询处理、通过超文本链的浏览、数据库维护工具以及编辑模块， 提供各种媒体类型的操作，包括文本、图形、图像、声音和视频。数据编组层实现由 多媒体素材库模式定义的时间同步和空间集成的需求，对数据进行组合与调度。媒体 数据管理层对格式化或非格式化数据进行管理，完成媒体资产库的存贮管理和事务管 殚 2 8 1 1 2 。 图3 6 媒体资产管理系统功能层次结构 华中科技大学硕士学位论文 3 2 2 媒体资产库的体系结构 我们在媒体资产管理系统中采用客户服务器结构来建立媒体资产库，这种结构的 媒体资产库中的各种单媒体数据相对独立，每一种媒体的管理与操纵各用一个服务器 来实现，所有服务器的综合和操纵也用一个服务器完成，与用户的接口采用客户进程 实现，客户与服务器之间通过中间件系统连接。这种体系结构很容易扩展到网络环境 下工作。媒体素材库的层次结构如下图所示： 第一层为媒体支持层，建立在媒体操作系统之上。针对各种媒体的特殊性质，在 该层中要对媒体进行相应的分割、识别、变换等操作，并确定物理存储的位置和方法， 以实现对各种媒体的最基本数据的管理和操纵。 第二层为存取与存储数据模型层，完成媒体资产数据的逻辑存储与存取。 第三层为概念数据模型层，为上层的用户接口、下层的媒体资产数据存储和存取 建立起一个在逻辑上统一的通道。第三和第二层为数据模型层。 第四层为媒体用户接口层，完成用户对媒体资产信息的查询描述和得到媒体资产 信息的查询结果。 第删层 第三层 第二层 第一层 媒体用户接l _ 层 概念数据模型层 存取与存储数据模型层 l f 媒体支持层 ii 图37 媒体资产层次结构示意 3 2 3 媒体资产管理系统与其他部门的衔接 设计的媒体资产管理系统，需要添加到非线性编辑系统中，并与其他部门衔接 才能根据用户需要，共同完成对资产的编辑。 华中科技大学硕士学位论文 资料收 集部门 媒体资产管理 系统 业务管理部门 蝮 体 经 营 部 门 电观广播 交互电挑 卜 v o d 斗 互联网电 见 节目交易 + 资料供给 图3 8 媒体资产的管理与其他部门的连接 3 2 4 媒体资产管理的存储技术 媒体资产的存储体系是媒体资产管理系统的核心。在这套媒体资产管理系统中我 们采用了混合存储方式，这不仅是因为硬磁盘价格较高，而且更重要的是硬磁盘是永 久性地固定连