（电路与系统专业论文）拼接式等离子显示系统音视频获取处理和网络传输系统的研制.pdf

摘要 拼接式等离子显示板( t i t l es c r e e np l a s m ad i s p l a yp a n e l ，简称t s p d p ) 以其数字 化驱动、大视角、高对比度、无缝拼接、无x 射线辐射、显示面积易于扩展等诸多优势 脱颖而出，成为实现高清晰、高画质的超大屏幕显示终端的最佳选择之一。但传统的拼 接式等离子显示系统中存在着信号源单一、信道传输距离短、可操作性差、与用户交互 不够等缺点。本文在系统的分析了传统的拼接式等离子显示系统的问题后，提出并实现 了一种基于p c 机软件、t c p i p 协议网络信道和a r m 9 嵌入式系统的新型t s p d p 整机 系统的架构，克服了以上的缺点并取得了良好的效果。 系统以运行着音视频采集处理和网络传输软件的p c 子系统和运行着音视频接收处 理和回放软件的嵌入式子系统为硬件平台。在系统设计中引入并实现了多线程、并行算 法、流水线、s o c k e t 控制等几项新技术，构建了音视频信号采集处理传输的并行运行 的结构，提高了程序的性能和网络发送的效率。本文分别对这两个子系统设计的流程、 方法和采用的新技术和方法做了详细的论述。 所设计的两个子系统已经过联合调试，工作稳定，并且取得了良好的显示和播放效 果。本文最后对系统设计和调试中遇到的问题以及解决方法也作了相应的归纳和总结。 关键字；t s p d p ，g d i ，v f w ，w a v e f o r ma u d i o ，多线程，s o c k e t ，音视频捕捉， 多媒体传输技术，a r m 9 ，l i n u x 论文类型：实际应用研究 a b s t r a c t t m es c r e e np l a s m ad i s p l a yp a n e l t s d p d pb e c o m et h eb e s tc h o o s eo f r e a l i z i n g h i g h - d e f i n i t i o na n dh i g h - q u a l i t yb r o a dd i s p l a ys c r e e n , o nt h eb e n e f i to f m a n ya d v a n t a g e ss u c h a sd i g i t a ld r i v e 。谢d ea n g l eo f v i e w , h i g h - c o n t r a s t ，n ot i d es l o t , n oxr a y ，c a p a b i l i t yo f s p r e a d c t c h o w e v e r ，缸a d i t i o n a lt s p d pd i s p l a ys y s t e me x i t ss o m ed i s a d v a n t a g e ss u c ha s 虹g l e s i g n a ls o u r c e , s h o r tt r a n s m i s s i o nd i s t a n c e , h a r dt om a n i p u l a t ea n dn oi n t e r a c t i o n 瓤t l lu s e r s b ys y s t e m i ca n a l y z i n gt r a d i t i o n a lt s p d p sd i s a d v a n t a g e s ，t h i sd i s s e r t a t i o np u t sf o r w a r da n e w - p a t t e r nf r a m e w o r ko ft s p d pd i s p l a ys y s t e mw h i c hb a s e so np cs o f r w a r e ，t c p i p n e t w o r k , a r m 9e m b e d d e ds y s t e m , r e s o l v i n gt h es h o r t c o m i n g so ft r a d i t i o n a lt s p d pa n d r e c e i v i n gb e t t e re f f e c t 1 1 1 es y s t e md e s i g n e db yt h i sd i s s e r t a t i o nu s e sp cs u b s y s t e mw h i c hr u n n i n gv i d e oa n d a u d i oc a p t u r ep r o c e s sa n ds e n ds o f t w a r ea n da r m 9e m b e d d e ds u b s y s t e mw h i c hn m n i n g v i d e oa n da u d i or e c e i v ep r o c e s sa n dp l a y b a c ks o f t w a r ea sh a r d w a r ep l a t f o r m s o m e a d v a n c e ds o t t w a r et e c h n o l o g i e sa n dt h o u g h ta r ei n 打o d u c e di n t ot h es y s t e md e s i g n , s u c ha s m u l t i - t h r e a d s ，p a r a l l da r i t h m e t i c ，p i p e l i n i n g ，s o c k e tc o n t r o l ，c o n s t r u c t i n gap a r a l l e ls t r u c t u r e o fv i d e oa n da u d i oc a p t u r ep r o c e s sa n ds e i l dw h i c hi m p r o v i n gs y s t e mp e r f o r m a n c ea n d s o c k e ts e n de f f i c i e n c y t l l i sd i s s e r t a t i o ne x p a t i a t e sa n da n a l y s e st w os u b s y s t e m sr e s p e c t i v e l y c o n t a i n i n gt h ed e s i g nf l o wa n dm e t h o d , i n c l u d i n gt h ec o r r e l a t i v ea d v a n c e dt e c h n o l o g i e sa n d i d e a t w os u b s y s t e m sh a v eb e e nu n i t a r i l yt e s t e da n dd e b u g g e d , t h er e s u l to ft c s t i i 培i s s a t i s f i a b l e ：w o r ks t a b l y ，w e l ld i s p l a ya n dp l a y b a c ke f f e c t a tt h ee n do ft h ed i s s e r t a t i o n , t h e s y s t e m - l e v e ld e s i g n i n ga n dd e b u g g i n gp r o b l e ma n ds o l v i n g m e a n sa r es u m m a r i z e da n d c o n c l u d e d k e yw o r d s ：t s p d p ，g d i ，v f w 。w a v e f o r ma u d i o ，m u l t i - t h r e a d s ，s o c k e t ，v i d e oa n d a u d i oc a p t u r e ，m u l t i m e d i at r a n s m i s s i o nt e c h n o l o g y ，a r m 9 ，l i n u x 致谢 首先，向我的导师沈继忠教授致以衷心的感谢。本论文的选题与写 作以及最终的完成都是在沈继忠老师的悉心指导下完成的。感谢沈继忠 老师为我们的研究工作创造了非常好的环境与平台，并且在研究生的这 两年的时间里给予了悉心的指导与教诲。我相信，不仅仅是在学术上和 工作上，而且在做人与做事上，我从沈老师这里学到的一切都将使我受 益一生。 也感谢本科四年和研究生两年时间里，在我成长的道路上曾呕心沥 血培养和教育我的每一位老师。 感谢赵武锋老师和倪杰老师在系统设计阶段给了我很多指导和帮 助；感谢我的实验室搭档虞浩东同学和刘贺同学，在整个项目中给予了 许多无私的帮助；特别感谢我的室友潘建彬、李明和刘立明，如果没有 他们，我的研究生阶段的生活会失去很多快乐。 深深感谢我的母亲，在我的成长求学生涯中，为我付出了太多太多。 何逸越 2 0 0 7 年5 月求是园 1 1 引言 第1 章绪论 近年来，超大屏幕显示系统越来越多的出现在广场、商场、体育馆、晚会舞 台、展览大厅等公共信息领域，成为人们获得视觉信息重要渠道。 目前的超大屏幕显示系统的显示终端主要有拼接式c r t 显示墙、l e d 显示 屏、投影设备三类，但是都存在图像对比度低、画质差、拼接缝明显、色彩失真 等诸多问题【l 】。随着平板显示技术的发展，拼接式等离子显示板( t i t l es c r e e n p l a s m ad i s p l a yp a n e l ，简称t s p d p ) 以其数字化驱动、大视角、高对比度、无 缝拼接、无x 射线辐射、显示面积易于扩展等诸多优势脱颖而出，成为实现高 清晰、高画质的超大屏幕显示终端的最佳选择之一1 2 j 。 拼接式等离子显示系统主要包括视频信号源建立、信道传输、t s p d p 显示 终端三部分【2 】。但目前使用的拼接式等离子显示系统中存在着信号源单一、信道 传输距离短、可扩展性差、可操作性差、与用户交互不够等缺点【4 】。 随着网络技术和数字多媒体技术的发展，人们开始进入网络多媒体信息时 代。网络的发展使得越来越多的信息通过网络的渠道在传播，同时多媒体技术的 迅速发展使得音视频数据的网络传输成为可能 3 1 。本课题旨在改变视频信号源建 立和信道传输的方式，充分利用网络技术和数字多媒体技术，建立一种新型架构 的拼接式等离子显示系统，达到克服上述缺点的目的。 1 2 拼接式等离子显示系统的现状 随着显示技术的发展，人们对公共信息显示领域的大屏幕平板显示器的分辨 率、色彩、体积等方面提出了更高的要求。对于拼接式大屏幕而言，拼接式u d 、 l c d 显示器在色彩、亮度、分辨率上有一定的缺点；拼接式c r t 显示器体积、 重量过于庞大问；拼接式彩色p d p 不但继承了p d p 显示效果好、视角宽、低辐射 等诸多优点【5 1 ，而且克服了c r t 或l c d 电视墙拼接感明显的弊端。模块式p d p 可 以做到无缝拼接，具有普通电视墙所不能比拟的显示效果，因此拼接式等离子显 示器的研究受到全世界各大相关公司、科研机构的重视嘲。 绪论 在国外，拼接式等离子体显示器的技术已经较为成熟并实现商品化，目前有 资料表明，韩国等离子厂商欧立安( o r i o np d pc o ，l t d ) 已经推出大型显示墙 应用技术一3 m m 拼接缝隙等离子显示墙，并进入韩国和中国市场【”。在国内，拼 接式等离子体显示技术较为落后，通过引进、学习和吸收，发展也十分迅速。西 安交通大学、东南大学、浙江大学、南京五十五研究所等单位都在拼接式p d p 显示系统领域作了许多研发工作罔。其中，浙江大学的信息显示研究室从1 9 8 8 年就开始着手进行彩色p d p 的研究，并于1 9 9 3 年开发了我国第一代拼接式大屏 幕彩色等离子显示设备，又于2 0 0 5 年成功研制了拼接式等离子显示系统中基于 d v i 接口和v g a 接口的电路系统【4 】。 我国拥有公共领域大屏幕显示的庞大市场，毫无疑问，作为大屏幕平板显示 的佼佼者，拼接式p d p 的市场潜力是巨大的【1 。但我国p d p 技术相对落后，拼 接式等离子显示系统在我国还处于市场成长的初期，离产品的商业化还有相当的 距离f 5 】。面对来自国外企业成熟产品的竞争，必须尽快在拼接式等离子显示系统 领域取得突破，才有望能在市场中占据有利地位。因此，对拼接式等离子显示系 统整机进行研究，掌握并改进其中的关键技术，具有重要的意义。 1 3 拼接式等离子显示系统的特点 一个完整的拼接式等离子显示系统通常包括视频信号源建立、信道传输、 t s p d p 显示终端这三大部分1 2 】。其中，信道传输部分包括传输接口电路与图像处 理电路，t s p d p 显示终端包括高压驱动电路和p d p 显示屏。目前国内外广泛采用的 t s p d p 显示系统架构如图1 3 1 所示。其中国内主要进行t s p d p 显示系统整机研制 的南京五十五所和浙江大学都使用这种架构【4 】。 视频信号源：来自于p c 机的显卡输出端口，一般以d v i 接口最为常见，也 存在少部分系统使用v g a 接口。d v i 接口以其无损失的数字化传送、通过d i ) c 通 道实现即插即用、提升图像的质量等特点成为了绝大多数等离子拼接系统信源端 接口的首选【1 2 1 。 接口电路：一般使用d v i 信号接收芯片、f p g a 、s r a m 、差分发送芯片等对接 收到的各类图像信号进行相应的处理，输出显示所需要的红、绿、蓝灰度信号以 及行、场同步等控制信号，进行简单的传输预处理后通过传输信道传递给图象处 理电路【1 0 1 。 2 绪论 信道：接口电路与图象处理电路的连接信道一般是选用适合长距离传输的协 议和通信接口国内外的研究机构一般选用r s 一4 2 2 r s - 4 8 5 作为通信协谢1 0 1 ， 对数据信号采用差分传输，故在接口电路端需要差分发送芯片，在图象处理端需 要差分接收芯片，通过这种方式实现了视频信号源和显示终端的远距离通信。 图象处理电路：一般采用一个或多个f p g a 和较多s r a m 实现对输入数据的转 换与存储，按照拼接式p d p 的结构对图像进行分割，实现对显示子场的划分与控 制，并向驱动电路传送显示数据。同时，该电路还要为驱动电路提供子场控制、 扫描同步等相关逻辑控制信号【4 】。 驱动电路：由于驱动电路与等离子屏的紧密联系，因此不同结构的p d p 显示 屏使用的驱动方法不同，采用的驱动电路也不同，主要分为表面放电式p d p 驱动 和对向放电式p d p 驱动【嘲，国内外的研究机构倾向于使用发光效率高的表面放 电式p d p 屏，本实验室目前只研制对向放电式p d p 驱动电路1 4 】。驱动电路部分 主要包括信号分配板和高压驱动板，每个子屏幕都有各自的驱动电眵，其中高压 驱动板是一致的，主要使用专用的高压扫描驱动芯片和高压c m o s 电路实现行列 信号的放大与驱动，各个子屏幕的信号分配板略有差异，取决于子屏幕在系统中 摆放的位置。信号分配板主要使用f p g a 实现图像信号、行场同步信号、控制信 号的分配与传输嘲。 j - 一一一一。“”“j | !传统的拼接式等离子显示系统完整架构 ：视频信号源的建立 ： 信道传输：t s p d p 显示终端 图1 3 1 拼接式等离子显示系统架构图 绪论 1 。4 传统的拼接式等离子显示系统中存在的不足 如图1 3 1 所示的拼接式等离子显示系统存在许多不足的地方。从信号源到 等离子显示屏的顺序依次说明其中存在的缺陷。 1 、信号源端：来自于显卡的d v l 接口或v g a 接口导致了如下的三个问题： ( 1 ) 信号源单一：仅仅是屏幕上的视频区域，不能获取其他视频捕捉设备的 图像信号；而且缺少音频信号的显示系统，用户是不能接受的。 ( 2 ) 显卡的要求：用于操控的p c 机必须装有同时带有d v i 接口和v g a 接口 的显卡，当p c 机无显卡或显卡只有v g a 接口时，系统不能工作；p c 机运行时， 如果想接上d v l 口或v g a 口以运行p d p 显示系统，必须先关机断电。 ( 3 ) 即时操作性差：d v i 口输出的是这个p c 机整个屏幕的所有信息，用户 无法在信号源端选择自己关心的区域，屏幕的裁剪工作需要留给接口电路甚至图 象处理电路，而裁剪的区域信息也是事先烧入f p g a 里面或写在f p g a 配置文件里 面的【1 6 1 ，这样如果用户关心的区域即时的发生改变，则系统无法处理，而是需 要断电重新烧录，而且这些无用的信息会占据接口电路或图象处理电路的资源， 也会占据信道的带宽。 2 、接口电路：主要作用是使用f p g a 控制d v l 差分接收芯片，将显卡d v i 口输出的r 、g 、b 、时钟的串行差分信号转换为便于图象处理电路处理的8 位并 行r 、g 、b 信号，场同步信号( v s y n c ) 、行同步信号( h s y n c ) 、数据使能信号 ( d e ) 等控制信息( 4 1 。实际上r g b 信号从显卡的d v i 口出来之前在内存中就已经 存在，如果不采用d v i 端口实现，可能就可以省去接口电路这块板子，从而降低 系统成本。 3 、信道：存在很大的局限性，这也是最致命的一个问题。常见的传输协议 与传输距离的关系如图1 4 1 所示【1 3 1 可见虽然r s - 4 2 2 是其中带宽最大的传输 协议，但若想让其带宽维持在可供系统视频传输的范围以上，其有效长度只有 7 0 英尺( 约2 0 米) ，但通常公共信息领域大屏幕终端和信号源间距离通常要远 远超过这个距离1 1 4 1 ，故这是一个亟待解决的问题。 由此可见，目前广泛采用的拼接式等离子显示系统仍存在相当的不足和需要 改进的地方。这个系统也有其优点：采用纯硬件设计，速度快实时性好【l o 】。 绪论 数据率( k b 呻) 图1 4 1 常见的传输协议与传输距离的关系图 本课题的研究目的就是针对以上列出的不足和缺陷，采用一种新颖的思路改 进如图1 3 1 所示的t s p d p 整机系统架构，可大大提高t s p d p 系统的实用性，并 提供给用户以良好的系统控制界面。 1 5 本课题的研究内容 本课题作为拼接式等离子显示系统整机研究的一部分，研究和设计工作主要 为： ( 1 ) 系统的分析传统t s p d p 显示系统的症结所在，讨论并制定改进及替换 的方案。提出t s p d p 整机系统改进部分的新型架构和设计方案。 ( 2 ) 设计并实现基于p c 的多信号源采集处理和网络传输的上位机软件。该 软件代替原有的d v t 接口的视频信号输出，实现了多信号源建立的功能：实现显 卡视频信号、摄像头视频信号的捕捉、切换、回显、处理、传输，同时实现对声 卡或麦克风等音频数据的捕捉和传输。并提供简洁且易于操作的用户交互界面， 设置需要捕获的屏幕区域，多信号源间的任意切换、添加、删除。在软件设计中， 利用模块划分和接口提供的思想，设计了软件的各个模块，模块间通过各自的输 入或输出接口通信，提高了软件的可维护性和扩充性，利用多线程技术，实现了 多i 0 线程、处理线程、网络接收、发送线程间的同步，利用流水线技术，提高 s 绪论 数据处理和网络发送的效率。丌发环境为i n t e lx 8 6 c p u + w i n d o w s x p 操作系统、 c c + + 语言、y c 6 o i d e 。 ( 3 ) 设计并实现了基于a r m 9 和l i n u x 的嵌入式音视频实时接收处理和回放 子系统。用于接收p c 机通过网络发送的音视频数据流，处理后将视频数据送到 f r a m e b u f f e r 并在a r m 9 板的l c d 上显示，将音频数据送到声卡驱动程序并发出 声音，最终将l c d 控制器输出的r g b 、行场同步信号、时钟信号都引出至t s p d p 驱动电路，供大屏显示使用。该子系统设计中的主要工作包括：首先对嵌入式系 统进行需求分析c p u 的选型和操作系统的支持，确定了a r m 9 芯片型号和l i n u x 操作系统后，建立嵌入式系统的开发环境，根据本课题豹需求按模块编译l i n u x 内核后移植b o o t l o a d e r 和l i n u x 内核移植r a m d i s k 文件系统后，编写下位机 软件，经过交叉编译后，将生成的可执行文件添加进r a m d i s k 中，通过t f t p 和 b o o t l o a d e r 将r a 泐i s k 下载到嵌入式板的r a m 后烧写进f l a s h 中。进入调试阶 段。开发环境为a r m 9c p u + l i n u x 操作系统、c 语言和a r m 9 一g c c ( 无i d e ) 。 ( 4 ) 通过网络连接p c 机和嵌入式系统，联合调试上位机软件和下位机软 件。完成w h l d o w $ 下进程和l i n u x 下进程的网络通信调试。使得上位机采集的 音视频信号能够实时的传输至下位机并回放出来。 ( 5 ) 在上述工作的基础上，将嵌入式板上l c d 控制器输出的r o b 信号和 行场同步信号引出来，通过一块转换板，连接至t s p d p 屏的驱动电路，完成最 终的调试。由于转换板和驱动电路已设计完成，故这部分不属于本课题的研制和 调试范围。 1 6 本章小结 本章首先介绍了拼接式等离子显示系统的自身优点和应用背景，然后阐述了 拼接式等离子显示系统的现状和特点，在系统的分析了目前广泛采用的拼接式等 离子显示系统中存在的不足后，阐述了本课题的研究目的、意义和主要研究内容。 6 第2 章拼接式p d p ( t s p d p ) 系统总体设计 传统的t s p d p 显示系统中存在信号源单一、信道传输距离短、可扩展性差、 可操作性差、与用户交互不够等缺点【4 】。通过系统的分析，发现问题的症结主要 在于信号源d v i 或v g a 接口的选择和信道r s 4 2 2 r s 4 8 5 的选择。针对症结所 在，本课题改变了信号源和信道的选择，以运行在p c 机上软件作为信号源的建 立方式，以基于t c p 口协议的网络作为信道，以运行在a r m 9 嵌入式系统上的 软件作为终端信号的接收方式，提出了改进后的t s p d p 整机系统架构。改进后 的t s p d p 整机系统具有信号源多样化、有效传输距离长、扩展性好、即时操作 性高、适用性强等优点。 2 1t s p d p 整机系统 传统t s p d p 显示系统存在的最大问题是信道选择为以电路交换机制为基础 的r s 4 2 2 r s 4 8 5 。从传统上讲，有三种数据通信的方法：电路交换、分组交换、 报文交换【堋。前两种现在都一直在使用，第三种则在一般的通信中己被淘汰。 传统t s p d p 选择的数据传输方式即电路交换的方式，它具有通信可靠、线路专 用的优点，但是同时具有传输距离受限、线路适用性差等缺点。所以，以电路交 换机制为基础的r s 4 2 2 r s 4 8 5 的这个缺点大大限制了信号源端和终端的距离【4 】。 所以我们考虑另一种数据传输的方式：分组交换。解决数据传输更好的方法是分 组交换【瑚。考虑到目前基于t c p i p 协议的网络是以分组交换方式实现数据传输， 而且基于t c p i p 协议的网络已极大的普及【1 9 1 ，所以选择它既能解决数据长距离 有效传输的问题，又能提高线路的适用性和扩展性。 选择了以基于t c p i p 协议的网络作为传输信道，这就改变了t s p d p 系统中 信号源建立的方式和信道终端的接收方式。因为网络接口卡( n i c ) 端口不具备 显卡d v i n g a 端口自主驱动输出的能力，需要编制p c 机软件驱动网络接口卡 向网络端口发送数据，所以选择运行在p c 机上的软件作为信号源的建立方式； 7 拼接式p d p ( t s p d p ) 系统总体设计 选择网络作为信道，使得接收终端必须具有t c p l i p 协议栈模块，t c p i p 协议栈 如果使用硬件电路实现过于复杂，使用嵌入式操作系统自带的t c p i p 协议栈既 标准而且效率较高，而且移植操作系统后可以通过编制软件的方式控制硬件的工 作，所以选择运行在嵌入式系统上的软件作为信道终端的接收方式。通过以上两 点改变，得到了改进后的t s p d p 系统架构图。 2 1 1改进后的t s p d p 系统架构图 通过上述分析，根据传统t s p d p 显示系统的缺点，提出了改进后的t s p d p 显示系统，该系统如图2 1 1 所示，包括三部分： ( 1 ) 运行着多信号源采集处理和网络传输软件的p c 机端 ( 2 ) 运行着音视频接收处理和回放软件的嵌入式系统端 ( 3 ) 包含t s p d p 驱动电路的t s p d p 显示屏 与图1 3 1 所示的传统t s p d p 显示系统比较可知：其中第三部分是没有作任 何改变的，本课题研究和设计的工作只集中在前面两部分。为了方便后面的阐述， 将本课题在t s p d p 整机系统中研制的部分称为t s p d p 音视频获取处理与网络传 输系统。 本课题中拼接式等离子显示系统完整架构 i 视频信号源的建立j 信道传输it s p d p 删 f一。一4 ? 一1 。4 一 i f 言i l t ! 基- t - a r m 9 和l i n u x 的 驱动电路! t s p d p 显示屏 网卡 图2 1 1 改进后的t s p d p 系统架构图 8 拼接式p d p ( t s p d p ) 系统总体设计 2 1 2 改进后的t s p d p 系统的优点 在系统分析了图1 3 1 所示t s p d p 系统的不足后，本课题提出了如图2 1 1 架构的t s p d p 整机系统。改进后系统所具备的优点有以下两大点： 视频信号源端： ( 1 ) 实现了视频信号源的多样化；( 2 ) 同步采集处理和发送音频信号，使 得t s p d p 系统更加丰富生动：( 3 ) 大大提高了用户的即时操控性：使得用户能 实时的改变t s p d p 终端显示的内容，在多种信号源中作任意他所需要的切换、 添加和删除；( 4 ) 降低了系统使用的难度：系统启动时用户只需在p c 机上运行 一个软件，避免了关机和双屏显示设置；( 5 ) 充分利用p c 机，不再需要图1 3 1 中视频信号源端的接口电路，降低了系统的成本。 信道： ( 1 ) 克服了图1 3 1 系统中最大的不足：大大增加了信号源和t s p d p 终端 显示器之间允许的距离。单根网线直连的有效距离就能达到1 0 0 米f l s j ，使用交 换机的局域网可以达到更长的距离，足以满足公共信息领域的要求；( 2 ) 系统具 有很强的适用性：网络基础硬件设施已渗透进社会的每个角落【1 9 1 ，简单的i p 修 改就能更换信号源设备。而且可以利用网络的组播功能1 2 0 1 ，实现信号源设备和 t s p d p 显示终端的一对多关系；( 3 ) 系统具有可扩充性和良好的发展潜力：软 件上增加和修改功能的代价要远远小于硬件；如果音视频编解码优化的足够好， 使德数据传输所需带宽足够小，可实现在i n t e m e t 上的远程播放1 2 ”。 2 2t s p d p 音视频获取处理与网络传输系统 在提出了改进后的t s p d p 整机系统架构基础上，下面将阐述本文在t s p d p 整机系统中设计的部分，即图2 1 1 所示的前两部分：t s p d p 图像获取处理与网 络传输系统。它包括两个子系统：p c 机多信号源获取处理和网络传输子系统和 嵌入式音视频接收处理和回放子系统。本节将总体上介绍这两个子系统的功能和 架构。 9 拼接式p d p ( t s p d p ) 系统总体设计 2 2 1 p c 杌多信号源获取处理和网络传输子系统 p c 机多信号源获取处理和网络传输软件的软硬件运行环境，以及与操作系 统和外设硬件之间的逐层调用的关系如图2 2 1 所示。 l 用户 i l 多信号源采集处理和网络传输软件 w i n d o w s 用户杏 f m d 。w 。矗i i 遥确爱曩绷 系统调用 、态 慝蠹篓霸睡囊羹潮蓬孬鲮蕤委蘸孬囊霉醺雾 ii ，i 鳓麟溪li 显卡驱动摄像头驱动声卡驱动网卡驱动 jl4t 采 集 采l 集采l 集 发送 jl上 显卡( 屏幕) 摄像头声卡和麦克风网卡 p c 机硬件区 图2 2 。1p c 机多信号源获取处理和网络传输子系统 p c 机多信号源获取处理和网络传输子系统实现了显卡屏幕图像、摄像头图 像、声卡和麦克风等音视频数据的同步实时采集和处理，通过网络端口将音视频 数据流同步发送至下位机端嵌入式音视频接收处理和回放子系统。完成了 t s p d p 系统中视频信号源建立的工作，而且同步了音频信号，丰富了系统的功 能。 p c 机多信号源获取处理和网络传输子系统主要包括显卡屏幕图像捕捉模 块、摄像头图像捕捉模块、声卡和麦克风音频数据捕捉模块、网络接收和发送模 块、视频处理模块和多线程同步模块等。这些模块在主线程中，根据各模块的功 1 0 拼接式p d p ( t s p d p ) 系统总体设计 能和接口在空间上整合起柬，根据模块调用的先后关系在时间上同步起来，即以 主线程为线索贯穿起所有模块，达到p c 机多信号源获取处理和网络传输的功能。 这些模块设计中保持了相对独立性，而且模块依赖的操作系统调用界限分明，增 强了软件的可设计性和可维护性。各模块设计中依据模块的实际意义，选择面向 对象或面向过程的设计方法学，使得软件设计与实际对象相吻合。 2 2 2 嵌入式音视频接收处理和回放子系统 嵌入式音视频接收处理和回放软件的软硬件运行环境，以及与操作系统和外 设硬件之间的逐层调用的关系如图2 2 2 所示。 图2 2 2 嵌入式音视频接收处理和回放子系统 拼接式p d p ( t s p d p ) 系统总体设计 嵌入式音视频接收处理和回放子系统实现了来自网络的音视频数据流的实 时接收处理，同步解码音频数据和视频数据，让声卡发出声音，让l c d 显示出视 频图像，同时提供r g b 和行场同步信号给t s p d p 驱动电路使用。 该子系统设计中主要包括嵌入式c p u 和操作系统的选型，交叉编译调试开 发环境的建立，b o o t l o a d e r 的移植，操作系统内核编译与移植，文件系统的移植， 驱动程序开发，最后是音视频数据流接收处理和回放应用程序的设计和调试。 2 3 本章小结 本章提出了本课题研制的t s p d p 整机系统的架构图并阐述了采用该架构的 原因，系统的分析了改进后t s p d p 系统所具有的优点。最后阐述了本课题主要 设计的两个子系统：p c 机多信号源获取处理和网络传输子系统和嵌入式音视频 接收处理和回放子系统。 1 2 p c 机多信号源获取处理和网络传辕子系统 第3 章p c 机多信号源获取处理 和网络传输子系统 3 1 软件的开发环境 3 1 。1w i n 3 2 应用程序设计 多信号源获取处理和网络传输软件的开发和运行都是依赖于w l n d o w s 操作 系统之上的，因此了解 r m d o w s 操作系统的体系架构和内部机制具有重要的意 义圈。操作系统运行的模式分为用户模式和内核模式。用户应用程序运行在用 户模式下的环境子系统中】。奔腾体系定义了4 种级别特权，用来保护系统的 代码和数据，防止它们被不慎改写，内核运行在最高的0 级别上，而用户进程运 行在最低3 级别上。因此应用程序不能直接访问处于内核态的设备驱动程序，而 是必须通过应用程序设计接口( a p i ) 同内核进行通信a p i 是例程、协议和其 他工具软件的集合，程序员可通过不同的编程语言，利用a p i 来构建同底层操 作系统相一致的应用程序【弭】。 w i n d o w s9 8 和w i n d o w sn t 都是支持3 2 位优先权式多任务( p r e e m p t i v e m u l t i t a s k i n g ) 及多线程的图形操作系统f 2 卯。w i n 3 2 程序的设计模式主要有如下几 个特点嘲： ( 1 ) 以消息为基础，以事件为驱动。w i n d o w s 程序和基于m s d o s 的程序 之间的一个根本差别就是：m s d o s 程序通过操作系统的调用来获得用户的输 入，而w m d o w s 程序则是通过操作系统发送消息来处理用户输入的。用户不用 担心如何使得这些消息与程序代码联系起来，因为这是应用程序框架的事情。 ( 2 ) 图形设备接口( g d i ) 。m s d o s 程序都直接往视频存储区或打印机端 口传输数据，这种做法的不利在于应用程序需要关一t l , 每种显示卡或打印机的驱动 程序伫s 】。w m d o w s 则提供一个抽象的接口，称作为图形设备接口g d i 。可以将 g d i 看作是位于应用程序和设备驱动程序中间的一层抽象层。 ( 3 ) 内存管理。w i n d o w s 屏蔽了锁住内存句柄、形式替换程序( t h u n k ) 以 及内存申请管理等很繁琐的细节问题0 0 。所有我们可以非常简单、有效、安全 的申请到所需要的内存。 p c 机多信号源获取处理和网络传输子系统 ( 4 ) 动态链接库( d l l ) w i n d o w s 提供给应用程序丰富的系统调用函数， 这些函数以动态链接库( d y n a m i cl i n k i n gl i b r a r y ，d l l ) 的方式提供f 3 l ，。通 常位子w i n n t k s y s t e m 和w i n n t s 1 f s t e m 3 2 子目录中。在早期，w i n d o w s 的主要 部分仅通过三个动态链接库实现。它们代表了w i n d o w s 的三个主要子系统，它们 被称作g d i 、u s e r 和k e r n e l ，分别包含在w i n d o w s 三大模块g d l 3 2 d l l 、 u s e r 3 2 d l l 和k e r n e l 3 2 d l l 中【3 2 1 。其中u s e r 模块掌管着各个外设的驱动程序 和所有窗口的运作机制，g d i 模块掌管着图形设备接口，k e r n e l 模块掌握着处理 机、内存、文件i 0 和进程的管理【3 2 1 。 除了w i n d o w sa p i ，w i n d o w s 还支持另种应用程序设计的函数调用：c r u n t i m e s ：cr u n t i m e s 函数库包含在骼v c r t 4 0 d l l 中。最后用图3 1 1 来阐 述程序代码、cr u n t i m e s 库函数和w i n d o w sa p i 调用之间的关系1 3 3 1 。 图3 1 1 程序代码、cr u n t i m e s 库函数和w i n d o w s a p i 调用之间的关系 可以看出在程序中调用的cr u n f i m c s 库函数最终还是会依赖于w i n d o w s a p i 系统调用。故它们应该看作构筑在系统调用上的额外的一层系统访问机制。 可以这样说，只要一个进程与其所处的操作系统存在交互关系，那么无论它多小， 都会在某一点上依赖于w m d o w s a p i 系统调用p 4 j 。 ( 5 ) 基于资源的程序设计。与m s d o s 程序不同的是，w i n d o w s 程序分为 程序编码和u i ( u s e ri n t e r f a c e ) 资源两部分所谓u i 资源是指菜单、对话框面 板、程序图标、位图、图标等。在进行r m d o w s 程序设计时，则可以用一些特 定的格式将这些数据存储在文件中，如v c 6 0 i d e 使用一个所谓的资源描述文件 ( r c ) 中描述它们，并提供资源编辑器作为友好的界面对各种资源作“所见即所得” 的编辑。r c 资源编译器( r c e x e ) 读取r c 文件的描述后将所有的u i 资源文 1 4 p c 机多信号源获取处理和阔络传输子系统 件集中制作出一个r e s ( r e s o u r c e ) 资源文件，最终链接器把由c + + 编译器输出 的二进制程序代码和二迸制资源文件结合起来生成最终的w i n d o w s 可执行程序 叫 ( 6 ) 应用程序框架( a p p l i c a t i o nf r a m e w o r k ) 的出现。起初，开发w i n d o w s 应用程序必须使用微软的s d k ，直接调用w m d o w s a p i 函数，向w i n d o w s 操作 系统提出各种要求。这些程序使用c 语言撰写并原原本本的使用w i n d o w sa p i 来开发程序。这种方法被称为古典的w i n d o w s 程序设计例。但是数以千计的 w i n d o w s a p i ，每个看起来都好像比重相当，有些a p i 虽有群组关系，却没有相 近或组织化的函数名，星罗棋布，故使用a p i 直接编写w i n d o w s 程序需要丰富 的经验和极大的耐心删。随着软件设计方法学的发展，在w m d o w s 程序设计领 域出现了具有革命性意义的程序设计概念一应用程序框架( a p p l i c a t i o n f r a m e w o r k ) 。它从根本上改变了w i n d o w s 程序设计的方式方法【3 7 】。本文将在下 节讨论a p p l i c a t i o nf r a m e w o r k 。 3 1 2 应用程序框架和m f c 应用程序框架( a p p l i c a t i o nf r a m e w o r k ) 是最近数年才成为p c 平台上软件 开发的主流工具，面向对象的程序设计语言是具体实现a p p l i c a t i o nf r a m e w o r k 的理想工具，而c + + 编译器在p c 平台上的出现和普及终于允许主流p c 程序员 能够享受a p p l i c a t i o nf r a m e w o r k 带来的利益l ”l 。 今天应用软件的功能愈来愈复杂，对于建造它们的工具的要求也越来越高。 c l a s sl i b r a r ) ，、g u it o o l k i t s 和a p p l i c a t i o nf r a m e w o r k 是三大类型的软件开发工具 即j 。这三类工具虽然以不同的技术方式逼近目标，但是它们却一致追求相同而基 本的软件开发关键利益：降低写程序所花的精力、加速研发效率、加强可维护性、 增强可靠性【3 9 j 。三者虽然目标相同，但它们的规模和定位的级别却有差异：一般 而言：c l a s s l i b r a r y 和g u i t o o l k i t 比a p p l i c a t i o n f m m e w o r k 的规模小，定位也没 那么高的级别。c l a s sl i b r a r y 定义为“一组具备面向对象性质的类，它们使应用 程序的某些功能实现起来容易一些，这些类可以一片片毫无瓜葛的并入应用程序 内”i 柏l 。这个定义中所强调的“一片片毫无瓜葛”，而不像a p p l i c a t i o nf r a m e w o r k 中的类是互相关联的，而且这种关联就是产生初始应用程序框架的逻辑。g i l l t o o l k i t 提供的服务类似于c l a s sl i b r a r y ，只是它的功能主要集中在使得程序员在 p c 机多信号源获取处理和网络传输子系统 图形和u i 界面上的设计变得容易它们二者与a p p l i c a t i o nf r a m e w o r k 之间的根 本区别可以总结为一句话：a p p l i c a t i o nf r a m e w o r k 引导并支撵着整个程序的设 计，而c l a s sl i b r a r y 和g u i t o o l k i t 只是使得程序的某个局部功能得以支持。下面 重点介绍a p p l i c a t i o nf r a m e w o r k 的定义。 从a p p l i c a t i o nf r a m e w o r k 的雏形出现至今，a p p l i c a t i o nf r a m e w o r k 的定义一 直是百花齐放。但不可否认的是a p p l i c a t i o nf r a m e w o r k 在软件界是具有划时代的 革命意义的：“a p p l i c a t i o nf r a m e w o r k 的出现使得带有艺术气息的软件创作行为 逐渐成为工匠艺术，而我们都将成为软件i c 装配车间的男工女工。”【4 l l 什么是a p p l i c a t i o nf r a m e w o r k ? a p p l i c a t i o nf r a m e w o r k 是一个完整的程序模 型，这个模型中具备标准应用软件所需要的一切基本功能，如文件存取、打印预 览、数据交换等，以及这些功能的使