（通信与信息系统专业论文）多格式硬盘录放器的软件设计.pdf

哈尔滨理工大学工学硕士学位论文 多格式硬盘录放器的软件设计 摘要 随着嵌入式多媒体应用领域的发展，人们对多媒体播放器的功能要求越 来越高，尤其是对不同多媒体格式的支持；大屏幕电视的普及，使影片的观 看达到更好的视觉效果。而为满足大众个性化的需求，还需要对感兴趣的节 目进行录制，可把录制的电视节目转存至移动存储设备中，使看电视不受时 间和地点的限制。同时伴随存储技术的发展，硬盘容量的不断增大和价格的 不断下降，使作为多媒体存储介质的硬盘能容纳更多影片，而且能够录制更 长时间的电视节目。因此，一种能够支持较多格式，以硬盘作为存储介质， 并且具有录制和播放功能的多媒体录放器将能很好的满足人们的需求，市场 前景广阔。 开发平台使用t i 公司的d a v i n c it m s 3 2 0 d m 6 4 4 6 作为多媒体核心处理 器，其a r m 和d s p 的双核结构不仅降低系统设计复杂性，而且满足视频 处理在运算能力和控制功能上的需求。通过分析r m v b 、w m v 和m o v 等 多媒体格式，研究数字音视频的录制和播放原理，以t i 提供的信号处理层 模块为基础，设计了数字多媒体软件系统架构。在d m 6 4 4 6 开发平台上移 植了l i n u x 操作系统，编写了l i n u x 下的音频设备驱动、视频设备驱动、 s d 卡驱动和i d e 硬盘驱动，在设备驱动的基础上编写了应用程序，包括电 视节目录制和支持多种格式的多媒体播放，最后将各个功能模块进行整合和 调试，对多格式硬盘录放器进行了功能测试和性能测试，并且稳定运行。 本论文完成了多格式硬盘录放器软件开发工作。根据系统的软件架构， 以t i 提供的编解码引擎为基础，完成驱动层和应用层的开发。系统实现了 对多种格式编解码的支持，并通过大容量硬盘存储进行多格式视频播放和电 视节目录制。 关键词录放器：编解码；多格式；l i n u x 哈尔滨理工大学工学硕士学位论文 s o f t w a r ed e s i g no fm u l t i f o r m a th a r dd i s k r e c o r d e ra n dp l a y e r a b s t r a c t w i t ht h ed e v e l o p m e n to fe m b e d d e dm u l t i m e d i aa p p l i c a t i o n s ，t h ef u n c t i o n s o fm u l t i m e d i ap l a y e rh a v eb e c o m ei n c r e a s i n g l yi m p o r t a n tf o rp e o p l ee s p e c i a l l y t h e s u p p o r to fm u l t i f o r m a t s i n c et e l e v i s i o n s c r e e ni s l a r g e rt h a nc o m p u t e r s c r e e n ，a n dt h ev i e w i n ge x p e r i e n c e w i l lb eb e t t e rw h e nu s i n g l a r g e - s c r e e n t e l e v i s i o n t om e e tt h en e e d so ft h ep u b l i ca n dr e c o r dp r o g r a m sw h i c hy o ua r e i n t e r e s t e di n ，t h ep r o g r a mc a nb es t o r e di n t or e m o v a b l es t o r a g e ，a n dt h e r ei sn o t t h el i m i to ft i m ea n ds p a c ew h e nw a t c h i n gt va tt h es a l n et i m e ，t h e d e v e l o p m e n to fs t o r a g et e c h n o l o g ym a k e st h ec a p a c i t yo fh a r dd i s ki n c r e a s e d ， a n dh a r dd i s ki sc h e a p e r t h eh a r dd i s kc a l ls t o r em o r em o v i e s ，a n dt vp r o g r a m s c a l lb er e c o r d e dl o n g e r s ot h em u l t i f o r m a th a r dd i s kr e c o r d e ra n dp l a y e rc a l l m e e tp e o p l e sn e e d s ，a n di tw i l lb eap o t e n t i a lp r o d u c t d a v i n c it m s 3 2 0 d m 6 4 4 6i su s e db yp l a t f o r ma sam u l t i m e d i ap r o c e s s o r c o r e t h ed u a l c o r e s t r u c t u r ec o m p o s e da r ma n dds pn o to n l ym a k e st h e p r o d u c te a s yt od e s i g n ，b u tm e e t st h ed e m a n do fp r o c e s s i n ga n dc o n t r o l l i n g a f t e r a n a l y z i n gr m v b ，w m v m o v a n do t h e rm u l t i m e d i af o r m a t s ，a n ds t u d y i n gt h e t h e o r yo fr e c o r d i n ga n dp l a y i n g ，s o f t w a r ea r c h i t e c t u r eo f m u l t i m e d i ai sd e s i g n e d b a s e do nt is i g n a lp r o c e s s i n gm o d u l e s l i n u xi sp o r t e dt ot h ed m 6 4 4 6p l a t f o r m ， a n dt h e nd e v i c ed r i v e ri sp r o g r a m m e ds u c ha sa u d i od e v i c ed r i v e r , v i d e od e v i c e d r i v e r , s dc a r dd r i v e ra n di d eh a r dd i s kd r i v e r o nt h e b a s i so fd r i v e r s ， a p p l i c a t i o ni sp r o g r a m m e dw h i c h r e c o r dt e l e v i s i o na n dp l a ym u l t i f o r m a tm o v i e s f i n a l l y , a f t e ri n t e g r a t i n ga n dd e b u g g i n gt h e s em o d u l e s ，m u l t i f o r m a th a r dd i s k r e c o r d e ra n dp l a y e rw o r k ss t e a d i l yt h r o u g hf u n c t i o nt e s t i n ga n dp e r f o r m a n c e t e s t i n g t h i st h e s i si m p l e m e n t ss o f t w a r eo fm u l t i - f o r m a th a r dd i s kr e c o r d e ra n d p l a y e r a c c o r d i n gt ot h es o f t w a r ea r c h i t e c t u r ea n dt h ec o d e ce n g i n ep r o v i d e db y t i ，s o f t w a r eo ft h ed r i v e rl a y e ra n da p p l i c a t i o nl a y e ra r ed e s i g n e d ，a n dm u l t i 。 一i i 、 哈尔滨理工大学工学硕士学位论文 f o r m a tc a l lb es u p p o r t e d t h ep r o d u c tc a np l a ym o v i e sa n dr e c o r dt vp r o g r a m s ， a n di tw o r k sw e l lt h r o u g hh a r dd i s ko fl a r g ec a p a c i t y k e y w o r d sr e c o r d e ra n dp l a y e r ，c o d ea n dd e c o d e ，m u l t i - f o r m a t ，l i n u x i i i 哈尔滨理工大学工学硕士学位论文 第1 章绪论 1 1 课题研究的目的与意义 支持多格式视频播放产品正逐步深入普通消费者的家庭。目前，多媒体硬 盘录放器在国内基本还不普及。如何能通过一个简单的嵌入式设备支持市面上 大多数的视频编码格式，并通过普通电视来播放，是个十分现实的问题。与使 用d v d - - r o m 作为视频介质不同，将硬盘作为节目介质最大的优势在于它能 提供更长时间的节目内容，快速的存取速度，方便的文件编辑，可适时录制其 它的节目源以及在长时间工作的情况下具有更高的稳定性。在播放电视节目 时，还可以经行个性化功能的定制，对感兴趣的节目进行录制，满足了大众的 需求【。为此，有必要设计开发一种功能强大的多格式硬盘录放机。 现代微电子技术与计算机技术以及通讯技术的迅猛发展与相互促进，使人 们步入了信息时代，即计算机、通信与消费电子时代【2 l 。嵌入式技术是后p c 时代的主流技术，嵌入式技术以其小巧，便携等特点，已经成为人们日常生活 中常用的消费类电子产品，像手机、m p 3 和p d a 已渗透到人们生活和工作的 方方面面。随着d v d 在消费类电子市场的退出，多格式硬盘录放器渐渐的进 入消费者的视野，在两年多的市场推广下，伴随硬盘技术的不断创新和多格式 硬盘录放器制造商数目的不断增多，竞争加剧，多格式硬盘录放器的价格逐渐 得到人们的普遍认同，市场逐渐升温。据专业调查机构统计，2 0 0 7 年中国市场 出货量为6 万台，预计2 0 0 8 年全球的多格式硬盘录放器出货量将达到2 3 0 万 台；而国内市场出货量为1 6 万台【3 j ，市场前景诱人。 一般的视频播放产品所支持的格式有限，片源一直是许多厂商及用户头疼 的事情。因为解码方式的问题，而目前市场上的大多播放器只能支持其中的几 种，有很大的局限性，也给用户的使用和自身的发展带来极大的不便。有些商 家提供相应的转换软件，某种程度上解决了格式兼容的问题，但是软件支持本 身也存在兼容性和转换速度等问题，大多不尽人意【4 l 。当前，网上最丰富、最 容易获得的流媒体格式就是r m r m v b ，它占据的空间容量小，却能提供非常 不错的画质，深受广大用户的欢迎，已经成为当前最流行、最广泛的视频格 式。但是，目前市面上支持的格式有限，转换视频格式却既耗时又损失画质， 非常的不方便，这样使得普通视频播放器可以获得并播放的片源范围大大缩 哈尔滨理工大学工学硕士学位论文 小。此外，另一种为广大用户所追捧的超高清晰画质格式的a v i 文件大多采用 了外挂的字幕和高保真立体环绕音效，一部分产品都不支持【5 1 。不言而喻，在 视频支持多格式的兼容性方面还有很大的发展空间。 由于多格式硬盘录放器产品的研发难度较大，当前市面上的大部分产品均 为欧洲或台湾地区设计，中国消费类电子产品的创意和用户体验创新还有所差 距，因此需要向国外先进的技术进行学习和研究，虽然最近几年国产品牌迅速 增加，但是高端的产品还是比较少，在产品的特色和多样性上有很大上升空 问。多格式硬盘录放器的竞争力与它支持格式的多少是成正比的，但目前市场 上的大部分产品由于核心处理器处理能力的限制，能支持大部分视频格式的产 品不多，并且市面上的产品很少有将视频节目录制功能和播放功能结合在一起 的，体现不出用户个性化的需求 6 1 。因此，研究一种能够支持较多格式，并且 具有录制功能的多媒体录放器将能很好的满足人们的需求，有很好的发展前 景。 1 2 国内外研究现状及发展趋势 1 2 1 国外研究现状及发展趋势 多格式硬盘录放器属于新型消费类数码产品。2 0 0 3 年，美国公司博帝科技 ( p a t r i o tm e m o r y ) 研发出了多媒体播放器，此后，多格式硬盘录放器出现在 人们的眼前。但当时多格式硬盘录放器的处理器能力和制造技术不够成熟，从 多厂商也打算进行相关产品的发布，但由于市场的原因，造成了多格式硬盘录 放器没有被消费者所接受，在经过了一年的准备，在各大厂商的努力下，改变 了这一局面【7 1 。 美国是目前世界上硬盘录放器发展较快的国家，各大电视运营商一般都把 主推节目在黄金时段播出，所以电视录制功能在美国早期得到了大力发展，但 当时利用的是磁带式录制设备，对电视节目的录制时间上有很大的限制，而且 节目的存储质量随着时间也会受到影响。当时美国四大电视网运营商：全国广 播公司、哥伦比亚广播公司、福克斯广播公司和美国广播公司都和各大消费电 子研发厂商联合，推出自己的电视录制系统，这一举动使美国的各大电视公司 都得到了可观的回报，人们对节目的录制主要集中在特别活动、电影和精彩的 体育赛事上。 哈尔滨理工大学工学硕士学位论文 随着国外数字电视的发展，多媒体处理的创新，对于电影的播放和节目的 录制已经形成了品牌产品，欧洲地区拥有众多的国家，各个国家的视频格式没 有统一的标准，从西欧到中欧、东欧及北欧，荷兰、西班牙、葡萄牙、奥地利 和芬兰等国家。一种能支持多格式的多媒体播放器能够解决视频格式不统一的 问题，满足了广大消费者的需求，欧洲的录放器产品展示出了过硬的质量、精 湛的做工、出众的性能以及引领市场的研发能力等等明显的优势，而且它们在 市场树立了坚实的品牌壁垒也不是一般的国产品牌所能撼动的。 到了2 0 0 5 年，多媒体处理芯片有了长足的发展，在技术上已经能胜任功 能强大的多媒体产品的需求，同时存储技术的发展，使得硬盘在容量、重量和 体积方面都有的很大程度的提升，这就为多格式硬盘录放器的产业化奠定了基 础【8 】。多格式视频播放功能是多格式硬盘录放器的基本的功能，视频的录制功 能也成为多格式硬盘录放器的标准功能。 多格式硬盘录放器的核心处理芯片供应商有很多家，包括t i 、f r e e s c a l e 、 飞利浦和a d i 等，由于这些处理器的架构不同，导致它们的性能、接口和功 耗等方面有很大的差异，t i 公司的达芬奇系列专门为视频处理提供了一整套的 解决方案，它以其a r m + d s p 的双核结构为多媒体的开发提供了快速开发工 具，基于以上优点它成为各大多媒体播放器厂商的首选解决方案。采用不同的 解决方案，产品的功能和性能会有各自的特点，面对的用户群也不同。 目前，国外生产厂商主要有日本的s o n y 、韩国的艾利和、法国的爱可视 等。多格式硬盘录放器进入了行业竞争的产业化时期。目前多格式硬盘录放器 还没有统一的行业规范，各个厂商按照自己的需求进行生产定制，基于l i n u x 操作系统的开发，具有开源性和软件自行调配等特点，而有的产品是基于操作 系统w i n d o w sc e ，它的内核不开源，而且价格较高，所以制造商的对产品的 自由度主要在应用程序的进行选择。 1 2 2 国内研究现状及发展趋势 国内多格式硬盘录放器的研发和生产比国外相对较晚，约从2 0 0 5 年开始 起步，初期国内仅有为数不多的几个品牌。从2 0 0 6 年上半年开始，国内市场 开始初步发展；到2 0 0 6 年上半年，随着台湾、韩国以及其他国家地区的厂商 陆续进入大陆市场，国内的厂商开始迅速发展起来，国产品牌数量越来越多， 相继有很多的厂商推出了自己研发的产品【9 1 。 随着信息技术的发展，消费类电子得到了快速的发展，像计算机、通讯和 哈尔滨理工大学工学硕士学位论文 消费电子融合，使得人们对于这类电子产品的性能、功能、体积都有了更高的 要求，类似于多格式硬盘录放器功能的电子产品己经开始渗透到了人们的日常 生活中。现在嵌入式设备的应用比计算机的应用更加广泛。近几年国内的 l i n u x 应用已经得到了很大的发展，尤其是嵌入式l i n u x 在媒体播放器的应 用，使得使用开源l i n u x 的播放器具有开发快速，拓展性强的特点，所以用 l i n u x 作为操作系统是目前国内开发录放器主流趋势。 国内多媒体播放器是从m p 3 开始发展的，它只能进行简单的音乐播放， 后来为了提供视频而衍生出了m p 4 ，这些便携式视频播放器配置4 寸到7 寸的 液晶屏，虽然便携小巧，但是小屏幕的观看效果令人不满意，硬盘录放器是与 大屏幕的液晶电视相连，所以多格式硬盘录放器提供常用的电视输入接口，在 家中通过大屏幕电视和立体声音响就可以体验影院效果，国内各大厂商想在这 个新产品浪潮中分得一份羹，都陆续推出了自己品牌的多格式硬盘录放器，也 达到了预期的市场计划，这种新型产品被广大的消费者所接受。 2 0 0 8 年可以说是多格式硬盘录放器终端市场爆发的一个时期，随着大容量 硬盘的出现，以其具有高性能和高稳定性等特点，使得多格式硬盘录放器在体 积和性能上都得到了极大的提升，硬盘对于数据的读写速度和对于电视节目录 制时间上也有了大幅度的改善，吸引了大众的眼球。在此时间段内生产的多格 式硬盘录放器占到了多媒体播放器市场的3 0 左右【l o l ，但由于技术研发能力的 限制，使得产品所支持的功能不够强大，但其个性化个录制功能和支持大屏幕 的多媒体播放还是吸引人们购买的理由所在。 由于价格、性能等原因，在国内市场上的产品主要是包括台湾在内的大陆 地区及韩国的产品占主导地位，国内的蓝天使、忆典两家品牌推出了自己的多 媒体硬盘播放器，产品对多种视频格式的支持和扩展功能比较能吸引购买能力 较强的消费者。大陆地区企业具有本土制造的优势，在生产和运输上都是国外 厂商竞争的弱势所在，但在技术上依赖国外的技术发展，没有掌握核心处理芯 片和嵌入式主板开发的关键技术，企业的技术创新能力较差，这都是制约产品 发展的限制因素，而台湾和韩国在这方面有较强的优势f l l l 。 同时随着存储设备容量的不断增大，价格不断地降低，新的存储技术的发 展，视频全数字、高清晰度不断完善，高画质图像标准和多格式的产品将投入 市场，多格式硬盘录放器将成为数字化时代的新宠。 哈尔滨理t 大学工学硕士学位论文 1 3 本课题研究内容 本论文以t i 公司的t m s 3 2 0 d m 6 4 4 6 作为核心处理芯片，设计了多格式硬 盘录放器，可支持多种视频格式的播放，还可以对视频节目进行录制。重点为 该系统的软件开发。研究内容主要包括以下几个部分： 1 分析了视音频数字化压缩基本原理与标准，介绍了r m v b 、a v i 和 w m v 等常用的多媒体格式。 2 设计了基于刚s 3 2 0 d m 6 4 4 6 处理器的多格式硬盘录放器系统架构，搭 建开发环境，移植l i n u x 操作系统到d m 6 4 4 6 开发平台中，为后续开发做准备。 3 编写了l i n u x 下的设备驱动程序，包括音频设备驱动、视频设备驱 动、s d 卡驱动和i d e 硬盘驱动。 4 编写了多格式硬盘录放器的应用程序，包括电视节目的录制和支持多 种视频格式的播放。 5 搭建测试环境，对多格式硬盘录放器的播放和录制进行了功能测试和 性能测试，检测实际运行效果。 哈尔滨理1 = 大学工学硕士学位论文 第2 章l i n u x 及视频格式介绍 2 1l i n u x 操作系统 l i n u x 操作系统从u n i x 发展而来，是多用户、多平台和多任务，提供有 内置安全方案的分层文件系统，支持多达三十多种文件系统，提供的s h e l l 命 令解释程序和编程语言，强大的管理功能、具有内核编程接口和大量通信网络 工具。 2 1 1 设备驱动程序 l i n u x 系统把设备分成3 种基本类型分别为：字符模块、块模块和网络模 块1 1 2 】。而程序员通常还为每个新功能创建不同的模块，从而实现软件伸缩性和 扩展性。 字符设备是一个以字符流一样被访问的设备，由字符设备驱动程序来实现 这种特性。字符设备驱动操作o p e n 、c l o s e 、r e a d 和w r i t e 函数来访问设备节 点，比如d e v t t y 。对文件的访问可以进行文件指针定位和移动，像帧抓取器就 可以用m m a p 访问抓取整个图像【1 3 】。 块设备也是通过d e v 目录下的文件节点来访问。块设备能够容纳文件系 统。在l i n u x 系统中，进行i o 操作时块设备只能传输一个或多个块，每个块 包含51 2 字节或2 的整数次幂。l i n u x 可以使应用程序像字符设备一样读写块 设备【1 4 1 。所以，字符设备和块设备的区别在于内核管理数据的方式。与字符设 备相比，块设备接口与之不同。 网络接口通过访问套接字来实现，通过数据包的传输和接收来进行设备的 数据传输，网络驱动程序不需要了解各个层，只要专注的处理数据包。l i n u x 网络设备驱动体系结构层次化设计实现了上层协议接口统一和可适应硬件驱动 对下层的多样化设备【1 5 j 。驱动需要完成的工作主要集中在功能层，网络设备 层，网络数据包接受以外的工作都由填充n e td e v i c e 的属性和函数指针【1 6 】。 l i n u x 内核完全以c 语言和汇编语言组成，但是却频繁的用到了面向对象 设计思想。在设备驱动方面，往往为同类的设备设计了一个框架，而框架中的 核心层实现了该设备通用的一些功能【1 7 1 8 l 。同样，如果具体的设备不想使用核 心层的函数，它可以重载之。 哈尔滨理工大学t 学硕上学位论文 如图2 1 所示反应了设备驱动的核心层与具体设备驱动的关系，而且这种 分层可能有多层。这样做的好处是，核心层的代码可以处理绝大多数该类设备 的功能。对于通用的代码具体的底层驱动不需要重复实现，而仅仅关心底层的 操作。这样的分层化设计在l i n u x 的r t c 、s p i 、u s b 、m t d 等设备驱动类中 很为常见。 图2 - 1l i n u x 设备驱动的分层结构 f i g 2 - 1l a y e rs t r u c t u r eo fl i n u x d e v i c ed r i v e r 在l i m l x 设备驱动框架设计中，除了具有分层设计的实现外，还有分隔的 思想【1 9 一o l 。比如通过s p i 总线访问某个外设设备，在访问的过程中，要对c p u 上的s p i 控制寄存器进行操作，原始的驱动代码都是与c p u 的相关代码交织 在一起的。这样的代码不具有可重用性，因为这使得一个外设用在不同的c p u 上需要不同的驱动。 那么，可以用主机的控制器驱动和外设驱动进行分离思想【2 1 】。这样结果 是，外设a 、b 、c 的驱动与主机控制器a 、b 、c 的驱动没有相关性，主机控 制器驱动不用关心外设，而外设驱动也不用关心主机，外设只访问核心层的通 用a p i 来进行数据传输，主机和外设问可任意进行组合。如果不进行主机和外 设分离，外设a 、b 、c 和主机a 、b 、c 组合的时候，需要9 个不同的驱动。 如果有m 个主机控制器和n 个外设，分离的结果是要m + n 个驱动，不分离的 话需要m * n 个驱动。如图2 2 所示为l i m l x 主机驱动和外设驱动分离结构。 哈尔滨理工大学工学硕士学位论文 图2 - 2l i n u x 主机驱动和外设驱动分离 f i g 2 - 2t h es e p a r a t i o no fl i n u xh o s td r i v e ra n dd e v i c ed r i v e r 2 1 2 应用程序多线程机制 大部分的操作系统都支持多线程技术，和进程相比它的多任务操作节省资 源。l i n u x 中创建一个新进程要占用独立的内存空间，利用一些数据表来维护 代码段、数据段和堆栈段，如果都是独立进程会消耗很多资源，不不利于嵌入 式开发，而一个线程中的多进程之间共享内存，运行一个线程所需要的空间远 远小于启动一个进程所需的空间，而且线程间的切换远小于进程间的切换。线 程之间有方便的通信机制，因为数据的共享，其他线程可以直接使用，有时也 需要注意有的变量不能同时被两个进程修改。多线程可提高应用程序的响应， 在图形界面中一个耗时操作会使系统等待，而把它置为这个线程，可避免这种 情况【2 2 1 。对于多核c p u ，可让多线程运行于不同的c p u 上。 线程分为用户态线程和核心态线程。内核不能独立调度线程，而是由线程 运行库来进行调度，本质是各个线程栈调度，如果进程中的线程调用被阻塞， 那么该进程和进程中的其他线程会被阻塞，l i n u x 异步i o 机制可定制修改用 户态的实现方式，用户态还支持更多的线程。核心态线程允许按照优先级的方 式调度线程，有利与多处理器的处理，它允许应用程序对内核线程的调度。进 程i d 、寄存器状态、栈和优先级都属于线程属性，线程能共享进程命令和大 部分进程数据，所以线程修改共享数据对其他线程是可知的。 编写l i n u x 的多线程程序利用p o s i x 接口，p t h r e a dt r e a t 创建线程，创建 成功返回0 ，需要创建新线程i d 、线程属性、开始运行地址和传递参数指针。 哈尔滨理1 = 大学工学硕士学位论文 终止线程p t h r e a de x i t 可以在不中止进程的情况下停止该线程，而当进程终止 时它里面的线程也即被终止，通过调用p t h r e a dj o i n 可获得线程的终止状态。 设置继承的调度策略可以将新线程继承创建者线程定义的调度策略1 2 3 , 2 4 1 。 多线程中必须进行线程间同步，一般使用下面四种同步方式：信号量、条 件变量、读写锁和互斥锁。信号量使用计数的方式来协调资源的访问，可以对 访问的线程数量进行限制，达到访问上限信号将阻塞；条件变量让一个线程阻 塞去等待另一个线程发送信号，它和互斥锁配合使用【2 5 2 6 1 。一旦某个线程改变 了条件变量，它会唤醒一个正在阻塞的线程；读写锁使共享资源受保护，其他 线程能够并发读取和独占式写入，线程首先要获得互斥锁才能修改资源，使用 完后进行释放以供其他线程使用；互斥锁有两种状态上锁和解锁，让进程访问 部分代码或特定的临界区，使用起来比较方便，但容易产生死锁。同一时刻只 能有一个线程上锁，上锁线程能够访问共享资源，若其他线程访问共享资源， 则此进程会挂起直到解锁。 2 2 视频格式介绍 多媒体的处理、传输和存数主要包括图像、视频和语音的数据处理，其中 的原始数据量非常大，由于存储器容量和通信带宽的限制，必须要对视音频进 行压缩处理【2 7 2 引。而压缩的算法多种多样，都各有利弊，其质量、压缩比和适 用领域各有不同。 2 2 1 视频数字化压缩原理 视频数据中存在着很大的冗余，图形在亮度和色度信息方面存在相关性， 可通过数据的转换去除这些相关性，达到压缩的目的，图像中的冗余存在于以 下几个方面：空间冗余，图像在某一样点的信息与时间轴上相邻帧的相应位置 的相关性很大，如一段视频的背景基本不变，只不过有物体在其中移动，这时 背景数据就有很大相关性；结构冗余，像一些规则的图形，其中的像素值存在 规律的分布；知识冗余，图像的理解有人们的常识相关，如人的面部特征都有 固定结构；视觉冗余，由于视觉的非线性，低频较高频敏感，亮度较色度敏 感、静止较运动敏感，根据这些特性一些图像数据对于人眼识别不明显，认为 是多余的 2 9 , 3 0 l 。这些冗余都为视频压缩提供了依据。 视频压缩根据质量有无损失分为无损压缩和有损压缩。无损编码利用熵编 哈尔滨理t 大学下学硕士学位论文 码，有损编码有预测编码和变换编码等。按照压缩机理的不同可分为三类：图 像信源统计特性压缩，包括变换编码、预测编码和统计编码；人眼视觉特性压 缩采用基于图像轮廓和方向滤波的编码；景物特性编码采用模型编码和分型编 码1 3 1 3 2 1 。通过各种编码方式去掉图像中的冗余。 视频编码方法有预测编码、变换编码和熵编码。预测编码根据过去像素预 测当前像素，预测值与实际值相减等于误差，再对误差进行量化编码，并对这 个误差值进行传输，由于值小所以采用的位数少，预测编码由帧间和帧内预测 两种，帧间预测是由于相邻帧之间相关性强，因为相邻帧间内容细节变化小， 能获得更高的压缩比，帧间预测包括运动估计和运动补偿。变换编码对图像表 示域进行转换，去除了像素空间的相关性，变换后能量主要集中在局部变换系 数上，由于能量集中使得后续的编码更有效，常用的变化编码有离散余弦变 换、傅里叶变换和小波变换等，量化是对d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 变 换后的系数，量化时对能量分布较大的系数和人眼敏感的低频系数分配较多的 比特数，这是一种有损压缩。熵编码是霍夫曼编码和游程长度编码结合，经 d c t 变换的频域经行z 扫描，对结果依次进行游程编码和霍夫曼编码【3 3 1 。信 源中符号概率分布不平均，编码效果越好。 音频压缩利用心理声学模型、非线性量化和比特流格式化等技术进行数据 压缩。心理声学模型运用人耳的听觉特性，对自带滤波器频谱量化后，控制在 掩蔽阈值以下的，最终被解码的数据与原始数据不会区分，心理声学模型的计 算结果会在后续的编码中利用。非线性量化就是有效分配比特，根据听觉系统 建立声音感知模型，把比特分配在听觉最敏感的区域，在不敏感的区域少分配 编码比特，随着信号的变化，根据心理模型动态进行量化1 3 4 ，3 5 1 。无损压缩哈弗 曼编码可以去除编码冗余。对编码后的数据进行比特流格式化。 2 2 2 常用多媒体格式 多媒体文件格式主要是从应用层面和技术层面来影响它的发展，每种格式 都有它存在的必要，都有一定的适用范围，而数字压缩技术的发展必将会产生 新格式。随着这些技术的不断创新和改进，视频清晰度和所占体积大小都将改 善，流媒体技术的发展在网络多媒体中占了至关重要的低位，流媒体能将传输 技术和多媒体编码技术很好的融合，对带宽、观看感受、压缩技术和质量等诸 多因素进行优化，r m 文件格式己牺牲多媒体品质为代价进行大比例压缩， m p e g - 4 格式图像质量较高，文件比较小，是一种比较流行的视频格式【3 6 1 。下 哈尔滨理工大学工学硕士学位论文 面就对常用的多媒体格式进行介绍。 1 a v i 格式它的英文全称为a u d i ov i d e oi n t e r l e a v e d ，即音视频交错格 式，它于1 9 9 2 年被微软公司推出，随着w i n d o w s 3 被人们所认识，音视频交 错就是可以将视频和音频交织在一起进行同步播放，这种视频格式的优点是图 像质量清晰，跨平台应用，但低版本的w i n d o w s 媒体播放器又播放不了采用 实用最新编码格式的a v i 视频【3 7 1 。但也有解决方法，可以进行视频转换和视频 修复等解决方案。 2 d v o a v i 格式d v 的全称是d i g i t a lv i d e of o r m a t ，是由s o n y 和 p a n a s o n i e 等厂商联合提出的一种家用数字视频格式，应用于数码摄像机中记 录视频数据，可以通过电脑的1 3 9 4 端口把数据传到电脑，也可将编辑好的视 频回录到数码摄像机中，这种视频文件的扩展名也是a v i 。 3 m p e g 格式它的英文全称为m o v i n g p i c t u r ee x p e r tg r o u p ，即运动图像 专家组格式，常用于v c d 、s v c d 和d v d 。m p e g 这种格式是运动图像压缩 的国际标准，为了减少运动图像的冗余信息采用有损压缩，目前有三种常用压 缩标准：m p e g - 1 、m p e g 2 和m p e g 3 。 m p e g 1 是针对数据传输率为1 5 m b p s 而设计的国际标准，即常用的 v c d 格式，这种视频格式的文件扩展名为m p g 、m p e 和m p e g 。 m p e g 2 是针对高级工业标准的图像质量，这种格式主要应用于 d v d s v c d 制作方面，还包括h d t v 和对视频质量有很高要求，这种视频格 式的后缀名有m p e g 、m 2 v 和v o b 。 m p e g 4 是为了播放流式媒体而设计的视频格式，它的带宽比较窄，使用 帧重建技术、压缩和传输技术，目的是以最小的数据量达到最好的视频质量， 它的画质接近于d v d ，这种视频格式的文件后缀一般为a s f 和m o v 。 4 d i v x 格式它是由m p e g 一4 发展出来的另一种视频编码标准，它采用 了m p e g 一4 的压缩算法同时结合了m p 3 方面的技术，使用d i v x 压缩技术对 视频图像进行压缩，用m p 3 进行音频压缩【3 引。然后将音频和视频合成并加上 外挂字幕形成的视频格式。 5 m k v 格式它可以将一个文件中集成多条不同的类型的音轨，而且视 频编码的自由度也非常的大，可以使常见的d i v x 、3 i v x 和流式文件，它是一 种全称为m a t r o s k a 的新型多媒体封装格式，这种开放性和先进性有很好的应 用前景。 6 w m v 格式它的英文全称是w i n d o w sm e d i av i d e o ，是微软推出的支 持网上实时节目观看和采用独立编码的压缩格式，它的优点是本地或网络回 哈尔滨理工大学工学硕士学位论文 放，可伸缩和可回扩充的媒体类型，支持多语言，具有环境独立性和扩展性 等。 7 r m 格式它的压缩算法标准由n e t w o r k 公司制定，r e a l m e d i a 可以根 据不同的网络传输速率定出不同的压缩比，这种适合在网络上进行传播，因为 它具有低速率的传送和播放的特点。 8 r m v b 格式它是由r m 视频格式发展而来的新视频格式，它的优点 在于打破了原来r m 格式的平均压缩采样方式，保证压缩比的前提下合理的利 用比特率，在静止或动作场面比较少的画面中才用低速率编码，这些节省下来 的带宽空间可以留给当出现快速运动画面，这样就提高了运动图像的画面质 量，在文件大小和图像质量之间达到了平衡。 9 a s f 格式它的全称是a d v a n c e ds t r e a m i n gf o r m a t ，是微软公司推出的 高级流格式，也是一个在网络上传播的多媒体技术，它利用a s f 取代q u i c k t i m e 等标准。a s f 的特点是可扩充的媒体类型、本地或网络回放和扩展性， 有独立的编码器将媒体信息编译成a s f 流，由n e t s h o w 服务器发送给网络上 的播放器，实现单路和多路广播。 1 0 m o v 格式它是美国苹果公司开发的一种视频格式，具有较高的压缩 比，其有跨平台的特点，不仅能支持苹果操作系统还能支持w i n d o w s 系列。 它的英文全称为a d v a n c e ds t r e a m i n gf o r m a t ，这种格式的推出为与其r e a l p l a y e r 进行竞争，它的图像使用m p e g 4 压缩算法【3 9 i 。 2 3 本章小结 本章主要对l i n u x 操作系统的编程和常用的多格式进行了介绍，分析了 l i n u x 下设备驱动的框架，和设备驱动中的分层思想，以及主机驱动和外设驱 动的分离概念。在驱动的基础上，介绍利用多线程技术进行应用程序的开发。 由于存储器容量和通信带宽的限制，必须要对视音频进行压缩处理。本文分析 了视音频的压缩原理，而压缩的算法多种多样，都各有利弊，因此对常用的多 媒体格式进行了分析。这些为多格式硬盘录放器的软件设计奠定了理论基础。 哈尔滨理t 大学t 学硕士学位论文 第3 章l i n u x 的移植和驱动程序的设计 3 1 系统平台简介 本项目的硬件平台采用t i 的t m s 3 2 0 d m 6 4 4 6 双核处理器，操作系统选用 l i n u x 。d m 6 4 4 6 处理器采用双核异构的a r m 和d s p ，a r m 采用a r m 9 2 6 核，主频为2 9 7 m h z ；d s p 采用c 6 4 x + d s p 核，主频为5 9 4 m h z 。视频处理子 系统有强大的视频处理能力，采用了媒体协处理器v i c p ，外围存储支持 d d r 2 、a t a 、f l a s h 和s d ，还有u s b 2 0 、e m a c 和r s 2 3 2 等外设接口【4 0 1 。 a r m 端的l i n u x 操作系统对外设的控制和多线程的调度，加上d s p 端较强的 视频处理能力，能顺利地进行视频应用系统的设计。 如表3 1 所示，介绍了基于d m 6 4 4 6 的嵌入式系统平台的硬件资源， l i n u x 的移植和驱动程序的开发都是基于此硬件平台之上。 表3 1d m 6 4 4 6 平台的硬件资源 t a b 3 - 1h a r d w a r er e s o u r c e so fd m 6 4 4 6p l a t f o r m 硬件描述 处理器t m s 3 2 0d m 6 4 4 6 ( a r m 9 2 6 + c 6 4 d s p ) d d r 2m t 4 7 h 6 4 m n o rf i 嬲h$ 2 9 g l 2 5 6 n a n df l a s hk 9 f 1 g 0 8 接口和资源一个以太网接口 视频处理系统 音频接口 i d e 硬盘接口 一个s d 卡接口 三个串口 一个u s b ( o t g ) 接口 一个j t a g 接口 在此系统中应用程序运行在a r m 端，处理i o 和应用程序。处理视频、 图像、话音和音频信号。使用c o d e ee n g i n e 所提供的v i s aa p i 。该e n g i n e 所 哈尔滨理工大学工学硕士学位论文 使用的服务包含x d a i s 和x d m 协议，以及d s p b i o sl i n k 和d s p 端预先配 置的c o d e ce n g i n e 遥控服务器通信。d s p 进行数字信号处理，a r m 端则可在 两端共享存储器里使用其结果，如图3 1 所示是软件程序开发的整体系统框 图。 a r m 子系统t r a n s p o r t d s p 子系统 图3 1 整体软件系统架构 f i g 3 一lt h es o f t w a r es y s t e ma r c h i t e c t u r e 3 2l i n u x 系统的移植 本系统使用的操作系统是m o n t av i s t a 软件公司的m o n t av i s t al i n u x ，它的 内核是可抢占的，保证了系统的实时响应。m o n t av i s t a 提供了3 0 多种处理器 的通用代码体系和1 0 0 多种板级硬件平台支持，以上特点有利于进行l i n u x 向 d m 6 4 4 6 开发板进行移植。 哈尔滨理工大学工学硕士学位论文 3 2 1 移植u b o o t 移植u b o o t 就是选择和自己开发板的硬件配置相关性最大的参考板，然 后修改u b o o t 源代码中的相关库文件和m a k e f i l e ，通过调试使u b o o t 能够在 开发板上正常运行。 u - b o o t 分为s t a g e l 和s t a g e 2 两部分，s t a g e l 代码通常放在 c p u a n n 9 2 6 e j s s t a r t s 中，他用汇编语言写成，主要用来初始化一些硬件设备； s t a g e 2 的c 语言代码部分l i ba r m b o a r d c 中的s t a r ta r m b o o t 是c 语言开始的函 数也是整个启动代码中c 语言的主函数，同时还是整个u b o o t ( s t a r ta n n b o o t ) 的主函数，u b o o t 启动顺序如图3 2 所示。 s t a g e1 开始 硬件设备初始化 初始化s d r a m 控制寄存器 拷9 - i s t a g e 2 到洲中 设置堆栈 初始化本阶段要使 用的硬件设备 王 检测内存映射 ( m e m o r ym a p ) 加载内核映像和根 文件系统映像到 s d r a m 设置内核的 启动参数 二 二二 调用内