（通信与信息系统专业论文）基于tms320dm642的视频系统应用设计.pdf

中文摘要 随着计算机技术、微电子技术以及互联网的发展，视频处理系统在日常生活、 军事、工业和医疗等许多领域得到了广泛的应用。目前大部分的数字视频系统是 通过图像采集卡进行视频采集，但这种基于p c 机的数字视频系统存在一些缺点， 如系统稳定性较差、安装携带不便、成本高、不能在恶劣环境下使用等。与此同 时，由于超大规模集成电路和嵌入式软硬件技术的迅猛发展，如t i 公司的d s p ， m o t o r o l a 公司的p o w e r p c 等功能强大的嵌入式处理器价格越来越低，尤其是d s p 芯片，它丰富的外设接口和高度的可编程性使得视频监控的硬件和软件都更容易 实现，将其应用到视频监控系统中还克服了基于p c 机系统的诸多缺点。因此基 于d s p 的视频处理系统，作为实现实时处理的一个重要方法已经成为人们研究的 重点。 本论文阐述了嵌入式视频处理系统的发展和实现方法，对基于专用图像处理 芯片的视频采集系统、基于高速d s p 的视频采集系统和基于p c 的视频采集系统 进行了分析。主要研究并设计了嵌入式视频监控处理系统，主控芯片采用了t i 公司的专用多媒体处理芯片t m s 3 2 0 d m 6 4 2 。本文首先进行了视频处理系统的设 计，包括视频电路、音频电路、存储电路、电源电路等。在此基础上，实现视频 系统的网络传输和异地存储功能，设计了以太网网络接口系统，将视频终端采集 到的视频数据通过以太网传送到p c 机端，以实现远程监控功能。 关键词：视频处理系统媒体处理器t m s 3 2 0 d m 6 4 2 视频网络通信 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e r , i n t e m e ta n dm i c r o e l e c t r o n i c s ，t h ev i d e o p r o c e s ss y s t e mw a sw i d e l ya p p l i e di nd a i l yl i f e ，i n d u s t r y , m e d i c a lt r e a t m e n ta n do t h e r s n o wm o s to fd i g i t a lv i d e om o n i t o r i n gs y s t e m so nt h em a r k e tw o r kb ya ni m a g e c a p t u r i n gc a r di np c is o c k e tw h i c hw o r ku n s t a b l y ，p r i c ei st o oh i g h , a n dc a n n o tw o r k i nb a dc i r c u m s t a n c e ，a n ds oo n o nt h eo t h e rh a n d ，m a n yp o w e r f u le m b e d d e d p r o c e s s o r s ，s u c ha st i sd s p a n dm o t o l o r a sp o w e r p ca p p e a r ，w h o s ep e r f o r m a n c e i s h i 曲e ra n dh i g h e rc o r r e s p o n d i n g l yp r i c ei sl o w e ra n dl o w e r e s p e c i a l l y ，d s pc h i p s i n c l u d ea b u n d a n c eo fp e r i p h e r a li n t e r f a c ea n dh a sv e r yh i 曲p r o g r a m m e da b i l i t y ， w h i c hm a k et h eh a r d w a r ea n ds o f o w a r eo fv i d e om o n i t o r i n gs y s t e mb ei m p l e m e n t e d e a s i l y b u ta l s o ，t h i se m b e d d e ds y s t e mc o n q u e rm a n yd e f i c i e n c i e so ft h es y s t e mb a s e d o np c t h ev i d e op r o c e s ss y s t e mb a s e do nt h ed s p , a sa ni m p o r t a n tt e c h n i q u eo f r e a l t i m ev i d e op r o c e s s ，h a sb e e nt h ee m p h a s i so fr e s e a r c h t h i sp a p e rm a i n l yr e s e a r c ha n dd e s i g nau n i v e r s a le m b e d d e dv i d e om o n i t o r i n g s y s t e m t h ec e n t r a lp r o c e s s o ri st i sd e d i c a t e dm u l t i m e d i ap r o c e s s o rt m s 3 2 0 d m 6 4 2 a tf i r s t ，v i d e o p r o c e s ss y s t e mw a sd e s i g n e d ，i n c l u d i n gv i d e oc i r c u i t ，a u d i oc i r c u i t ， p o w e rc i r c u i t o nt h eb a s i s ，i tm a k e st h ev i d e os y s t e m st oa c h i e v et r a n s m i s s i o n n e t w o r ka n dr e m o t es t o r a g e e t h e r n e tn e t w o r ki n t e r f a c ed e s i g ns y s t e m s ，w i l lt r a n s m i t t h ev i d e od a t at op cc l i e n tb yt h ee t h e m e tt r a n s m i s s i o n , t oa c h i e v et h er e m o t e m o n i t o r i n gf u n c t i o n k e yw o r d s ：v i d e op r o c e s ss y s t e m ，m e d i ap r o c e s s ，t m s 3 2 0 d m 6 4 2 ， v i d e oo ft h et r a n s m i s s i o nn e t w o r k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：癯多巳 签字日期：2 纠2 年7 月口日 学位论文版权使用授权书 本学位论文作者完全了解基盗盘堂有关保留、使用学位论文的规定。 特授权盘鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：z 垂碧导师签名：括弓参参 签字日期： 一1 年9 月 dl e t 签字日期： 甥年9 月。i e i 天津大学硕士学位论文第一章绪论 第一章绪论 近年来，随着互联网和通信技术的飞跃发展，人们不再满足于只用简单的文字、 声音进行交流，而更加倾向于使用图、文、声并茂的多媒体进行交流，如可视电话、 网络会议、视频监控、视频广播( i p t v ) 、在线点播多媒体( o d r m ，o n - d e m a n d r i c h - m e d i a ) 等技术已成为发展的热点。图像信息是人们由客观世界获得信息的主 要来源之一，占人们依靠五官由外界获得总信息量的7 0 以上。视频图像实际上就 是连续的静态图像序列，是对客观事物形象、生动的描述，是一种更加直观而具体 的信息表达形式。网络、通信和微电子技术的快速发展和物质生活水平的提高，视 频处理以其直观、方便和内容丰富等特点，日益受到人们的重视。 视频处理技术在我国的兴起始于2 0 世纪8 0 年代，经过2 0 多年的发展，视频系统 正经历着从模拟化到数字化、从本地化到网络化的转变。而目前的视频系统主要是 技术已经很成熟的模拟系统和以p c 机为平台的插卡式数字视频系统，难以满足实时 处理和稳定可靠的要求，而且携带和安装都极不方便。因此无论从国家的战略高度 还是从国民生产的具体需要出发，都亟需研制新一代的视频处理系统。基于嵌入式 设备的视频系统的优点表现在：一方面，由于这种系统的硬件是一个同处理器和软 件捆绑较为紧密、功能专一、设计专门的独立设备，不像插卡系统那样受通用计算 机系统中其他软硬件的影响，因此嵌入式监控系统在性能上更稳定，且便于安装、 维护、易于实现系统的模块化设计，便于管理，降低了费用；另一方面，由于功能 的单一，只要算法选择正确，系统的实时性就可以得到保证，而且控制功能较p c 系统容易实现。 1 2 视频信号处理技术1 1 1 2 1 模拟电视信号的数字化 复合视频信号( c v b s ，c o m p o s i t ev i d e ob r o a d c a s t i n gs i g n a l ) ，定义为包括 亮度和色度的单路模拟信号，即从全电视信号中分离出伴音后的视频信号，这时的 天津大学硕士学位论文第一章绪论 色度信号还是间插在亮度信号的高端。由于复合视频的亮度和色度是间插在一起 的，在信号重放时很难恢复完全一致的色彩。由于视频信号中已不包含伴音，故一 般与视频输入、输出端口配套的还有音频输入、输出端口( a u d i o - l n 、a u d i o - o u t ) ， 以便同步传输伴音。因此，有时复合式视频接口也称为a v ( a u d i ov i d e o ) 口。 分量电视信号( c o m p o n e n tv i d e os i g n a l ) 是指每个基色分量作为独立的电视信 号。每个基色既可以分别用r ，g 和b 表示，也可以用亮度一色差表示，如y i q 和 y w 。使用分量电视信号是表示颜色的最好方法，但需要比较宽的带宽和同步信号。 分离电视信号s - v i d e o ( s e p a r a t e d vi d e o ) 是亮度和色差分离的一种电视信号， 是分量电视信号和复合电视信号的一种折衷方案。s - v i d e o 信号使用单独的两条信 号电缆线，一条用于亮度信号，另一条用于色差信号，这两个信号称为y c 信号。 s - v i d e o 使用4 针连接器，使用s - v i d e o 有两个优点：减少亮度信号和色差信号之 间的交叉干扰；不须要使用梳状滤波器来分离亮度信号和色差信号，这样可提高亮 度信号的带宽。 模拟视频数字化方法有两种： 第一种：先把复合视频信号中的亮度和色度分离，得到唧或y i q 分量，然后 用三个模数转换器对三个分量分别进行数字化。分量采样时采到的是隔行样本点， 要把隔行样本组合成逐行样本，然后进行样本点的量化，y u v 到r g b 色彩空间的转 换等等，最后才能得到数字视频数据。 第二种：首先用一个高速a d 转换器对彩色全电视信号进行数字化，然后在数 字域中进行分离，以获得所希望的y c b c r ，y u v ，y i q 或r g b 分量数据。通常采用第一 种方法。 r n l 1 2 2 数字视频标准。 为了在p a l 、n t s c 和s e c a m 电视制式之间确定共同的数字化参数，在2 0 世8 0 年代初国际无线电咨询委员会( c c i r ，c o n s u l t a t i v ec o m m i t e ef o ri n t e r n a t i o n a l r a d i o ) 制定了广播级质量的数字电视编码标准，称为c c i r 一6 0 标准( 现改为 i t u - r b t 6 0 1 标准) 。在该标准中，对采样频率、采样结构、色彩空间转换等都作了 严格的规定，主要有： i 彩色空间之间的转换 用8 位二进制数表示r b t 6 0 1 的y 、c b 、c r 和r g b ，而r g b 颜色空间使用数值 范围的分量信号，r g b 和y c b c r 彩色空间之间的转换关系用下式表示： y = ( 0 2 9 9 r + 0 5 8 7 g + 0 11 4 b ) + 1 6 c r = ( o 5 0 0 r - o 4 1 8 7 g - 0 0 8 1 3 b ) + 1 2 8 c b = ( - 0 1 6 8 7 r - 0 3 3 1 3 g + 0 5 0 0 b ) + 1 2 8 天津大学硕士学位论文 第一章绪论 2 采样频率 c c i r 为n t s c 制、p a l 制和s e c a m 制规定了共同的电视图像采样频率 f s = 1 3 5 m h z 。这个采样频率也用于远程图像通信网络中的电视图像信号采样。 对p a l 制、s e c a m 制，采样频率为f s = 6 2 5 2 5 x n = 1 5 6 2 5 n = 1 3 5 m h z ，n = 8 6 4 其中，n 为每一扫描行上的采样数目。 对n t s c 制，采样频率为f s = 5 2 5 2 9 9 7 n = 1 5 7 3 4 n = 1 3 5 m h z ，n = 8 5 8 其中， n 为每一扫描行上的采样数目。 3 有效样本数 对p a l 制和s e c a m 制的亮度信号，每一条扫描行采样8 6 4 个样本；对n t s c 制 的亮度信号，每一条扫描行采样8 5 8 个样本。对所有的制式，每一扫描行的有效样 本数均为7 2 0 个。 表卜1n t s c 制和p a l 制图像的有效尺寸 采样频率样本数行扫描行数( 有效样本数行有效行数) 采样格式 信号格式 ( m h z ) n t s cp a l y1 3 5 8 5 8 x 5 2 5 ( 7 2 0 x 4 8 0 )8 6 4 x 6 2 5 ( 7 2 0 x 5 7 6 ) 4 ：2 ：2c r6 7 5 4 2 9 x 2 6 2 ( 3 6 0 x 2 4 0 ) 4 3 2 x 317 ( 3 6 0 x 2 8 8 ) c b6 7 5 4 2 9 x 2 6 2 ( 3 6 0 x 2 4 0 ) 4 3 2 x 317 ( 3 6 0 x 2 8 8 ) y1 3 5 8 5 8 x 5 2 5 ( 7 2 0 x 4 8 0 )8 6 4 x 6 2 5 ( 7 2 0 x 5 7 6 ) 4 ：4 ：4c r1 3 5 8 5 8 x 5 2 5 ( 7 2 0 x 4 8 0 )8 6 4 x 6 2 5 ( 7 2 0 x 5 7 6 ) c b 1 3 5 8 5 8 x 5 2 5 ( 7 2 0 x 4 8 0 )8 6 4 x 6 2 5 ( 7 2 0 x 5 7 6 ) 根据f s 的采样率，在不同的采样格式下计算出采样格式( y ：u ：v ) 数据量： 4 ：2 ：2 2 7 m b y t e s = 2 1 6 i 帖p s 4 ：4 ：4 4 0 m b y t e s 这种未压缩的数字视频数据量对于目前的计算机和网络来说无论是存储或传 输都是不现实的，因此在多媒体中应用数字视频的关键问题是数字视频的压缩技 术。我国采用的电视信号为p a l 制式，每场的3 1 2 5 行中，有一些要用在场消隐， 是不包含视频信号的。按照标准规定的行号，奇场的行号为第1 至第3 1 2 5 行，偶 场的行号为3 1 2 5 至6 2 5 行。其中，奇场的第2 3 5 至3 1 0 行包含有效的视频信号， 共2 8 7 5 行，偶场的第3 3 6 至6 2 2 5 行包含有效的视频信号，共2 8 7 5 行。所以一 帧的有效行数为5 7 6 行。 i t u r b t 6 0 1 标准主要是对数字电视演播室的采样和基本编码参数达成了协 议。而后i t u p , b t 6 5 6 标准主要是描述了运行在5 2 5 行或6 2 5 行制式，并符合 天津大学硕士学位论文第一章绪论 i t u r b t 6 0 1 中所规定的4 ：2 ：2 编码参数的数字电视设备的互连方法，包括信号 格式、串并行接口特性。 1 视频数据格式 8 个最高有效比特都是1 或都为0 的数据字用于标识目的，所以2 5 6 个8 比特 字中只有2 5 4 个( 1 0 2 4 个1 0 比特字中的1 0 1 6 个) 可以用于表示信号值。视频数据字 是以2 7 m b s 的速率复用传送的，其顺序是：c b ，y ，c r ，y ，c b ，y ，c r ，其中 c b ，y ，c r 这三个字指的是同址的亮度和色差信号取样，后面的y 字对应于下一个 亮度取样。 2 视频定时基准码( s a v ，e a v ) 有两个定时基准信号，一个在每个视频数据块的开始( s t a r to fa c tiv e v i d e o ，s a v ) ，另一个在每个视频数据块的结束( e n do fa c t i v ev i d e o ，e a v ) ，如图 卜1 所示。 、，。一、_ 、- ，、_ - ，_ _ 技定时基准代替控定 疔隐鼗据代替被定畸基准代譬 、r j 、_ 、，j 有效视顾结柬( v ) 有徽栏缓开始 s a v ) 图1 1n t s c 制和p a l 制图像的有效参数 如表l 一2 所示，每个定时基准信号由4 个字的序列组成，格式如下：f fo oo o x y ( 数值以1 6 进制表示，f f0 0 留供定时基准信号用) 。前三个是固定前缀，第4 个 字包含定义第二场标识、场消隐状态和行消隐状态的信息。定时基准信号内的比特 分配列于表卜2 。此处列出的数值是为1 0 比特接口的建议值。为了与己有的8 比特 接口兼容，d 1 和d o 比特的值未作规定。 天津大学硕士学位论文 第一章绪论 表卜2 时序参考码 数据比特号第一字( f f )第二字( o o )第三字( o o ) 第四字( x y ) d 9 ( m s b ) l0o l d 8loof d 7 1 0ov d 61ooh d 5l o o p 3 d 4100p 2 d 3 1o0p 1 d 210o p 0 d 11o 00 d 0l0o0 f = o 1 ：第1 2 场 v = o 1 ：其它处场消隐 h = 0 1 ：有效视频开始处( s a v ) 有效视频结束处( e a v ) p o 、p 1 、p 2 、p 3 ：保护比特，状态决定于f ，v 比特的状态。在接收机中，这 种安排容许纠正1 比特误码和检出2 比特误码。 1 3 论文的主要工作 以t i 公司高性能的3 2 位定点d s p t m s 3 2 0 d m 6 4 2 为中央处理器，实现视频采集系统 的实时多路视频采集，支持复杂的音视频压缩算法，可以2 4 d , 时不间断进行有声视 频的采集、回放与存储。另外还加入了网络接口模块的通信与异地存储，实现i p 网 络上视频与音频信号的传输，具备了比较完整的视频处理所要求的功能。网络化成 为嵌入式视频处理系统的发展趋势。由于t m s 3 2 0 d m 6 4 2 片内集成了视频和网络外设 接口，系统的软件处理工作全部由d m 6 4 2 完成，从而减少了嵌入式视频系统的成本 和开发难度。 综合起来本系统具有以下一些功能： 视频采集与回放和音频采集与回放：支持多路与视频同步的立体声输入与 输出，采样频率为8 k - - 9 6 i 盈q z ，也支持单声道的m i c 输入。 内存扩展：使用3 2 m b 的同步动态存储器s d r a m 作为系统内存，可以存储 多达2 5 帧r b t 6 0 1 格式的数字视频图像；使用4 m b 的异步f l a s h 存储器，存储应用 程序以及掉电后仍需保存的用户数据，具有自启动功能。 1 0 1 0 0 m 以太网远程传输：实现网络传输和异地存储功能，实现以太网网 天津大学硕士学位论文第一章绪论 络接口系统，将视频终端采集到的视频数据通过以太网传送n p c 机端，以实现远程 监控功能。 u a r t 功能：使用了2 路标准的r s 2 3 2 串口，便于实现系统与主机之间的通 信和控制，另外还可以通过此端口扩展其他功能，如g p r s 模块和c d m a 模块等。 本文研究工作分为以下几个阶段： 1 研究嵌入式视频处理系统的发展现状和实现方法，重点对基于专用视频图像芯 片的视频采集系统、基于高速d s p 的视频采集系统和基于p c 的视频采集系统进行了 分析。 2 根据设计任务要求和d s p 的产品资料，确定系统设计所用d s p 型号，并深入了解 t m s 3 2 0 d m 6 4 2 的相关资料。 3 视频处理系统的设计，介绍了基于d m 6 4 2 的视频编解码模块、音频编解码模块， 电源模块、系统时钟模块和存储器扩展模块等。 4 视频网络通信系统设计，介绍了u a r t 模块和以太网接口模块，实现远程通信。 天津大学硕士学位论文第二章视频处理系统的现状 第二章视频处理系统的现状 对于一个多媒体处理系统来说，由于视频处理的数据量比较大，因此视频处 理能力决定整个系统的性能。视频处理的功能主要由视频编解码芯片和处理器来 实现，不同的应用需求将选择不同的视频编解码器和处理器。 2 1 视频编解码器2 1 目前在视频处理系统中的视频源和显示设备以模拟信号为主，对视频数据处 理之前要进行数字化，数字化由视频解码器来完成。由数字视频转换成模拟视频， 是靠视频编码器来完成的。 在视频解码器方面p h i l i p s 是入手最早的公司，它率先推出的单片视频解码 器s a a t l l l 结束了使用分立元件来设计视频采集电路的历史，它使得视频信号的 采集变得易于实现，目前很多视频采集系统都还在使用该视频解码芯片。为了满 足图像的高质量和一些视频监控场合，p h i l i p s 在2 0 0 0 推出了s a a 7 1 1 4 视频解码 芯片，它将输入通道数扩展为6 个，a d 转换器的位数扩展为9 位，并增加了数 据i o 端口和音频输入端口，目前该芯片在国内外嵌入式视频采集系统中应用较 广。p h i l i p s 的视频解码器产品中应用较广的还有s a a 7 1 3 0 ，s a a 7 1 3 4 ，s a a t l l 3 等。p h i l i p s 公司在推出s a a 7 1 1 1 的同时，它同时推出了视频编码器s a a t l l 5 7 1 1 6 0 ，到目前它的主要产品有s a a t l 2 0 ，s 从7 1 2 1 ，s a a 7 1 2 7 ，s a a 7 1 2 4 ，s a a 7 1 2 5 等。 t i 公司在视频解码器方面入手晚于p h i l i p s ，该公司于2 0 0 1 年正式宣布进军 视频产品领域，它推出的芯片中，应用较广的有t v p 5 0 2 2 ，t v p 5 0 2 0 ，t v p 5 0 4 0 和 t v p 5 1 4 5 等，其中t v p 5 1 4 5 的a d 位数为l o b i t ，t i 的视频解码器相比p h i l i p s 公司的芯片来说在产品中应用较少，目前应用较广的有t v p 6 0 0 0 和t v p 3 0 2 6 等。 由于对图像质量要求的不断提高，从视频编解码芯片的发展过程来看，芯片 集成的集成化程度提高很快，比如目前的视频解码芯片与早期推出的相比，芯片 内部在噪声滤波方面改进很大，信号的通道数一般都扩展到了6 个或6 个以上， a d 的位数也提高到了l o b i t 。不过就芯片的具体应用来讲，需根据系统的具体 任务来选择，比如做p c i 应用，可以选择s a a 7 1 3 0 做图像分析，可以选择精度高 的芯片如t v p 5 1 4 5 、s 从7 1 1 3 等。 天津大学硕士学位论文第二章视频处理系统的现状 2 2 视频处理器 在视频处理系统中，系统的视频处理能力决定了系统的性能。视频处理器主 要包括专用图像处理芯片、通用d s p 和多媒体d s p 等。 2 2 1 专用图像处理芯片 在专用图像处理芯片方面，国外的有a d 公司的基于小波变换的实时视频压 缩解压缩芯片a d v 6 x x 系列、a d v 3 p 2 0 0 0 ，t i 公司的t s b 4 3 c a 4 3 a 等，国内有支持 a v s 标准的凤芯系列芯片，成都天锐微电子有限公司的r a y 2 6 3 1 等等。 对于专用图像处理芯片，它们都是针对某些特定的标准，算法已经固化不可 修改，往往根据实际情况和根据需求不同而选择或定制不同压缩标准的芯片。 2 2 2 通用d s p 芯片 对于通用d s p 芯片，以a d 、t i 、m o t o r o l a 的d s p 为主，如a d 公司的 a d s p 2 1 1 6 0 ，a d s p 2 1 0 6 0 等在图像处理系统中应用较广，t i 公司的t m s 3 2 0 c 6 0 0 0 系 列雌1 目前在图像处理领域应用相当广泛。由于一系列原因，d s p 成为多媒体编解 码器的理想选择。 首先，编解码标准要求必须是可编程的，使用通用d s p 开发视频系统，其灵 活性较大，兼容性强，对于不同的图像处理算法通常只需修改算法程序即可实现 系统升级完成不同的功能。其次，大部分的编解码器是运算密集型，而d s p 就是 设计用于高效数学运算。然后，d s p 内核提供了低功耗、低成本的最佳组合。但 大多数的通用d s p 芯片用于重复性较强的数据处理，其外设接口有限。 2 2 3 媒体处理器 传统的通用d s p 芯片的片内外设接口有限，一方面需要用较复杂的外围电路 构造视频的专用外围接口，在有的系统中使用c p l d f p g a 来配合d s p 完成图像的 处理，使系统成本上升、开发的难度加大；另一方面因为缺乏针对图像位和字节 操作的专门指令，使高速的d s p 处理器在视频处理方面难有出色表现，因此，与 专用芯片比较，在多媒体设备上，通用d s p 芯片一直处于劣势。但是，对可编程 的媒体处理器灵活性的需求是日渐突出的。因为多媒体信号处理技术处于一个高 速发展的阶段，各种国际标准共存，新标准不断出现。例如，对于视频压缩编码， 就有多种国际标准：h 2 6 1 、h 2 6 3 、h 2 6 4 、m p e g l 、m p e g 2 、m p e g 4 等。在一个网络 上传输的可能存在多种不同标准的码流，而且对于一个设备也不断要求其对视频 天津大学硕士学位论文 第二章视频处理系统的现状 编码技术进行更新。例如一个早期的视频会议设备采用h 2 6 1 编码视频，在h 2 6 3 出现后，更好的是改用h 2 6 3 标准，也许很快就会采用h 2 6 4 作为视频会议的编 码标准。因此产生两个需求：一是设备的更新换代，二是多种标准的转换。对于 用固定的专用芯片实现的设备。这两条都是难以达到的。但如果采用d s p 作为核 心处理器，只需更新软件就可以达到第一个要求，增加部分功能软件，可以适度 的支持第二个要求。 正是为了满足这种需求，一种新型的d s p 芯片媒体处理器“一3 ( m e d i a p o r c e s s o r ) 被设计出来，并很快得到业界的广泛关注。目前，已经推出了几种媒 体处理器芯片，例如t i 公司的t m s 3 2 0 d m 6 4 x ，p h n i p s 的t r i m e d i a ，a d i 的b l a c k f i n 和e q u a t o ( 赤道公司) 的h i a p - c a ( m e d i aa c c e l e r a t e dp r o c e s s o r f o rc o n s u m e r a p p l i a n c e s ) ，都是性能很好的媒体处理器。媒体处理器芯片都集成有视频接口。 利用这些高集成度的多媒体处理器搭建的硬件平台，完全可以实现单芯片的数字 电视机顶盒、视频监控、可视电话、d v d 记录仪、流媒体播放器等多媒体处理系 统。 在众多厂家中，t i 的媒体处理器系列的主频是相对最高的，d m 6 4 2 已经达到 7 2 0 m h z ，再加上t i 公司的推广、完备的软硬件开发环境以及第三方合作伙伴的 支持，使得t i 的媒体处理器得到广泛的应用。 2 3 视频处理系统分类嘲 2 3 1 基于p c 机的视频采集系统 基于p c 机的视频采集系统最为普遍的功能就是使用视频采集卡获取数字化 视频信息，并将其存储和播放出来。视频采集卡的接口包括视频与p c 机的接口 和与模拟视频设备的接口，考虑到系统的实时性，个别视频采集卡还提供了硬件 压缩功能。它的采集速度较快，可达3 0 帧每秒。视频采集卡的输出对象通常为 p c 机监视器。基于p c 的视频采集系统通常采用3 2 位的p c i 总线接口，以插卡 的方式实现与p c 机的通讯与数据传输。 模拟 卜d a 加h 鬻h 嘲h 亘卜 应用程序i 显示 图2 - 1 基于p c 机的视频采集系统 通过运行相应的p c 程序系统就可以实现视频的采集、显示与存储，通常通 天津大学硕士学位论文第二章视频处理系统的现状 过视频采集卡采集的图像数据其容量较大，对于不同的应用还需要运行相应的处 理程序。 优点：开发周期较短，费用较低，而且产品易于维护和升级。 缺点：由于随着视频压缩标准的不断发展和完善，算法的运算量和复杂度也 就随之提升，因此在好多实时性要求较高的场合，这种途径已经很难满足现场的 需求。 因此，该方法主要应用在算法开发初中期阶段及一些对实时性要求不高的领 域。 2 3 2 基于专用视频图像芯片的视频处理系统 该方法主要是指使用一些专用的视频图像处理芯片来实现对视频的压缩编 码，这些专业的视频处理芯片主要指具有特殊用途的数字信号处理器( d s p ) 等。 下面给出了基于专用图像编码芯片a d v 6 0 1 构成的视频编解码系统的框图，该系 统主要完成视频图像的实时采集、压缩、解压缩、模拟视频的输出和数据传输等 功能。 图2 2 基于专用图像编码芯片的视频处理系统 在该系统中采用了a d 公司的小波视频压缩解压缩专用芯片a d v 6 0 1 ，它在系 统中起对视频解码器输出的y c r c b 数据进行实时压缩解压缩的作用。在系统中， 视频输入可以是p a l 制或n t s c 制的模拟视频信号，输入的视频信号的制式由视 频解码芯片自动检测，视频解码芯片主要完成对视频输入信号的a d 转换功能， 同时分离出行、场同步信号，并提供2 7 姗z 的系统时钟输出。视频解码芯片输出 的数据直接输入到编码器a d v 6 0 1 、m ) v 6 0 1 按m p e g - 2 标准完成数据的实时压缩。 压缩后的数据通过数据总线送入d s p ，在系统中d s p 的主要功能是完成各外围芯 片的初始化、时序控制以及数据的存储和转发功能；对于视频输出部分，由d s p 将来自前端的压缩数据或者来自外部接口的数据送至另外一片a d v 6 0 1 ，这里 a d v 6 0 1 完成数据的解压缩功能，解压缩后的数据送入一片视频编码芯片，由它 可以直接提供全电视信号输出以及s 端子输出。 优点：通常，由于芯片的开发商已经在芯片内部通过硬件将算法加以实现， 因此用户只需选取合适的芯片后将数据输入即可，即用户在系统开发中参与的工 天津大学硕士学位论文第二章视频处理系统的现状 作很少。 缺点：系统实现的开销太大；算法己经固化了，第三方难以进行第二次开发， 灵活性差。所以，这种方法一般应用于那些对系统处理实时性要求很高的特殊场 合。 2 3 3 基于高速d s p 的视频采集系统 软硬件相结合实现可以分为两类：一类是通用数字信号处理器( d s p ) 与高级 语言相结合来进行压缩编码系统开发；另一类是用f p g a 等可编程阵列产品结合 其相应的开发语言来进行系统开发。目前，随着集成电路设计与制造技术的飞速 发展，这些芯片的集成度、数据吞吐能力及运算速度等都得到了很大的提高，而 成本却降低了很多。同时吸取了前两种方案的优点，又很好地弥补了其不足之处。 系统硬件定型后，产品的升级只需对软件进行修改，因此应用前景很好。 下图2 3 给出了基于高速d s p 的视频采集系统框图，该系统完成视频图像的 实时采集、传输以及各种视频压缩算法和图像处理算法的实现，根据不同的应用， 在d s p 中可以编制不同的图像处理程序，相比基于专用视频图像芯片的视频处理 系统而言该系统具有更大的灵活性。 模拟视频信号 一模拟视频信号 1 视频采样芯片卜_ _ - _ - qf i f o 卜- 斗 c p l d f p g a d s p i 视频输出芯片卜一 - _ 一 f i f o 卜一 图2 - 3 基于d s p 的视频处理系统 系统的视频输入为模拟视频信号。视频采样芯片完成视频信号的a d 转换， 为后续处理提供数字视频数据，同时它还分离出行、场同步信号供c p l d f p g a 使 用。p l d f p g a 负责将数据写入到f i f o 中，并控制帧的输入比率。对于不同的输 入制式、不同的采集要求和不同的处理要求，f i f o 完成输入和输出数据的缓冲。 天津大学硕士学位论文 第三章基于t m s 3 2 0 d m 6 4 2 的视频处理 第三章基于t m s 3 2 0 d 矗1 6 4 2 的视频处理 3 1 数字信号处理器 2 0 世纪8 0 年代初世界上第一片数字信号处理器芯片问世，d s p 以数字器件特 有的稳定性、可重复性、可编程性、大规模集成和易于实现自适应处理等特点，给 数字信号处理( d i g i t a ls i g n a lp r o c e s s i n g ) 的发展带来了巨大机遇，使得信号处 理更灵活、功能更复杂，应用遍及国民生活的各个方面，如无线通信、语音识别、 图像处理、视频监控、生物医学、航空航天和各类自动化仪器等等。随着半导体制 造工艺的发展和计算机体系结构的改进，d s p 芯片的处理功能越来越强大，其运算 速度也越来越快，高速实时数字信号处理成为研究的重点。 所谓实时数字信号处理指在有限的时间内系统对外部输入信号用数字的方法 完成指定的处理，即信号处理的速度必须大于或等于外部信号更新的速度。而实时 数字信号处理系统的核心就是数字信号处理器。数字信号处理器同普通的微处理器 相比较，除了具有共有的运算速度快和控制能力强等特点外，其在总线结构、指令 流程和指令系统上还具有如下特点： 1 使用哈佛结构或改进的哈佛结构总线。与冯诺依曼结构相比，其主要特 点是程序和数据具有独立的存储空间，有各自独立的程序总线和数据总线，可以同 时进行数据和程序寻址，具有更高的指令执行速度。 2 采用流水线操作。由于在处理器内，每条指令的执行分为取指、译码和执 行三个阶段，流水线操作使两个或两个以上的操作可以重叠执行，大大减少指令执 行时间。 3 采用专用硬件乘法器。在普通的微处理器上，实现两个双字节数的乘法操 作需要1 0 0 多个时钟周期：而在数字信号处理运算中，对于常用的滤波器、f f t 和 d c t 等算法中都有大量的乘法运算；硬件乘法器可以使乘法运算在一个指令周期内 完成，从而大大提高数字信号处理的效率。 4 采用专用寻址单元。由于d s p 主要面向数据密集型应用，对于频繁的数据 访问，数据地址的计算时间也相应增长。d s p 采用专用寻址单元后，地址产生器与 算术逻辑单元( a l u ) 并行工作，地址计算不再占用额外的c p u 时间。 5 良好的多机并行运行特性。在一定的技术条件下，d s p 芯片的处理能力有限， 系统的数据处理容量往往会超出单个d s p 的处理能力。许多d s p 芯片提供了专用于 天津大学硕士学位论文第三章基于t m s 3 2 0 d m 6 4 2 的视频处理 多个d s p 并行运行的硬件通信接口，从而大大提高了系统的综合数据处理能力。 6 带有d m a 控制器，配合片内多总线结构，可以大大提高片外到片内、片内 到片内和片内到片外数据块的传输速率。 7 具有丰富的外设接口。 由于数字信号处理的复杂性和通信协议的可变性，决定了实时d s p 系统具有如 下优点： 快速制造原理样机和验证，加快产品上市时间； 软件的可编程性使得产品能够迅速跟踪新标准和新协议； 通过软件更新，快速进行产品升级。 3 2 本视频处理硬件设计的需求 本系统应用设计的主要任务是以多媒体d s p 为核心处理器件，构建视频信号的 采集、输出平台，能实时运行多数视频处理算法( 如h 2 6 4 ) 。通用的嵌入式视频监 控系统主要由以下几部分功能组成：主控芯片+ 视频采集与回放+ 音频采集与回放+ 存储或传输控制+ 以太网远程通信。设计的关键而在于如何高效快速地实现各个功 能模块，需要根据用户需求选择各个功能模块的最佳核心芯片、系统的最佳存储方 式和最佳控制方式，尤其是主控芯片和重要外设芯片( 包括视频和音频的编解码芯 片) 的选择。 本文以t i 公司高性能的3 2 位定点d s p t m s 3 2 0 d m 6 4 2 为中央处理器实现了嵌入式 的视频采集系统，整个除了图像采集、压缩之外，加入了网络接口模块以实现远程 通信，具备了比较完整的视频处理所要求的功能。与其他多处理器实现方式不同， t m s 3 2 0 d m 6 4 2 片内集成了视频和网络外设接口，系统的软件处理工作全部由d m 6 4 2 完 成，从而减少了嵌入式视频系统的成本和开发难度。 3 2 1 主控芯片的选择 视频处理系统中的主控芯片通常需要具备以下几个基本条件： 高速处理能力 大容量存储 、 高速数据通道 专用的音视频接口 天津大学硕士学位论文 第三章基于t m s 3 2 0 d m 6 4 2 的视频处理 3 2 2 视频芯片的选择 为了节约系统成本，提高利用率，本设计中视频模块的总体设计要求为：模拟 视频输入要满足多路标准p a l n t s c $ i j 式复合视频或y c 模拟视频输入；模拟视频 输出要满足标准p a l n t s c 帛w j 式复合视频或y c 模拟视频输出。 1 视频图像的摄取通过c m o s 摄像机来完成，这种器件的最大优势在于它与 d s p 等其他器件的亲和性，这是c c d 摄像机无法比拟的。 2 视频解码芯片采用t i 公司生产的t v p 5 1 5 0 a ”。，这是一款低功耗、支持 n t s c p a l 制式的视频解码芯片，使用2 7 m h z 时钟频率，带有2 个9 b i t 的a d c 采样 器，有足够的解码速度与精度，其输入为标准的p a l n t s c 复合视频或y c 模拟视 频，输出为标准的8 b i t b t 6 5 6 数字视频数据流，满足模拟视频输入的要求并可与 d m 6 4 2 的视频端口无缝连接。 3 视频编码芯片采用p h i l i p s 公司生产的s a a 7 1 2 1 h 1 3 】， 这是p h i l i p s 公司1 9 9 7 年推出的视频编码芯片，虽然它推出的时间已经很久，但是由于其低廉的价格、强 大的功能以及易于与d s p 接口的特性，使得其至今仍然得到很广泛的应用。其输入 为标准的8 b i t b t 6 5 6 数字视频输入流，输出为标准的p a l n t s c 复合视频或y c 模 拟视频，满足模拟视频输出的要求。 4 视频回放采用电视机作为视频接收器来接收p a l n t s c $ l j 式的模拟视频信 号。 3 2 3 音频芯片的选择 本设计中音频模块的总体设计要求为：模拟音频输入要求多路标准麦克风输入 或l i n e 输入；模拟音频输出要求多路标准l i n e 输出；时钟要求与视频同步，因此还需 要一个专用音频时钟芯片。 1 模拟音频数据通过3 5 m m 音频j a c k s 响应麦克风的输入和l i n e 输a 输出。 2 音频编解码芯片选择t i 公司生产的t l v 3 2 0 a i c 2 3 【l ，它可以实现模拟音频 信号的采集和播放功能；支持2 路立体声输入；2 路立体声输出；也支持单声道麦克 风输入。编解码器可以选择麦克风或l i n e 来作为输入，处理的音频范围是8 9 6 k h z 。 3 3 系统d s p 选型4 5 3 3 3 1d s p 芯片的分类 d s p 的芯片可以按照以下的两种方式进行分类。 天津大学硕士学位论文第三章基于t m s 3 2 0 d m 6 4 2 的视频处理 1 按数据类型分