（信号与信息处理专业论文）基于dsp的交互式视频处理系统的研制.pdf

原创性声明 本人郑重声明：所里交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：蕴丛日期：兰望：芏! 丝 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅：本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文 ( 保密论文在解密后应遵守此规定) 论文作者签名：蕴叁矗导师签名：兰兰兰考日期：竺望：皇! 堡 h 东大学硕士学位论文 摘要 在实际工作和牛活中，经常需要看清一些静态图像的细节这就要求对图像 进行整体或局部的缩放，这种情况对实时性要求不高，一般通用的p c 机即可满 足要求。但是在目前飞速发展的实时监控和网络直播等应用领域，视频信号成了 主要处理对象，它要求系统必须具有良好的实时性。这种对大量视频数据的实时 处理，需要采用专用的处理芯片来完成。因此随着音视频市场的不断扩大，众多 芯片厂商纷纷推出功能强大的实时音视频处理专用芯片，t 1 ( t e x a s i n s t r u m e n t s ) 公司推出的t m s 3 2 0 d m 6 4 2 就是其中最杰出的代表。 i c e t e k - d m f 4 2 - p c i 是d m 6 4 2 的一款开发板。本文在此硬件的基础上，结合 t i 公司提供的c c s 开发环境，开发实现了交互式实时视频缩放系统，实现了对 彩色视频信号的实时处理，满足了上述提出的实际要求。该系统主要有以下突出 的特点： 1 ) 用c 语言编码实现了取线性图像缩放算法，并将程序针对d m 6 4 2 的底层 硬件进行了深度优化，使其足以并行处理两路视频信号，为以后系统的产品化提 供了保证。 2 ) 在上位机与d i 6 4 2 进行命令交换的过程中，采用了硬件中断技术，这不 仅节省了c p u 对中断信号的查询时间，而且能保证用户发出的命令被芯片迅速响 应，消除了实时性的瓶颈。 3 ) 本工程是在c c s 的工程框架下建立起来的，结构清晰，可以方便的加入 更为完善的视频算法，为以后升级提供了保障。 4 ) 在上位机上用v c + + 编写了人性化的命令接收界面，使用户可以方便的发 送视频处理命令，该程序还实现了通用的串口通信功能，可以不做任何修改，用 于其它场合的串口调试。 系统总体框架描述如f ： 用户通过上位机( p c ) 上运行的程序，选定预放大的视频范围、放大后税频 图像的显示区域、行放大倍数和列放大倍数等控制信息；通过上位机上的c o m 口 和d m 6 4 2 开发板上的u a r t 器件，将控制信息发送给d m 6 4 2 ；由d m 6 4 2 完成对摄 像头采集的视频信号进行放大，然后送到显示器显示。 论文主要的内容包括以下几个方面： 山东大学硕+ 学位论文 第一章讨论了工程的技术背景和研究意义，提出了系统的框架和各项技术指 标并给出了说明框图。 第二章分析了最近邻插值法和双线性插值法，说明了它们各自的原理。其 中，着重分析了双线性放大算法的计算方法、运算量和放大效果等，并选定它为 本工程中用到的丰算法。 第二章介绍了t i 公司的d m 6 4 2 芯片的特点以及用它来进行视频处理的原 因，介绍了d m 6 4 2 的开发板i c e t e k - d m 6 4 2 一p c i ，给出了建立该工程的硬件平台 和软件平台，为实现提出的目标提供了技术前提。 第四章详细介绍了工程的各个部分。首先给出了运行于d s p 上的程序的流程 图和各项参数，其中着重阐述了在d s p 上对c 程序进行代码优化的多种方法，最 终实现了对视频图像进行2 5 帧秒的实时处理。然后介绍了p c 上程序的各项功 能以及实现和使用方法。最后解决了奉工程中一个难点，就是通过硬件中断的方 式使p c 上发出的命令传送到d s p 上，使之接收并运用到接下来的图像处理中。 文章末尾对该系统的功能和用途进行了总结，并对将来的应用前景进行了展 望。 关键词：视频放大d s p 优化c o m1 ：3 硬件中断 山东大学硕士学位论文 a b s t r a c t i ne v e r y d a yw o r ka n dl i f e , i ti so r c nn e c e s s a r yt oo b s e r v et h ed e t a i l so fp i c t u r e s t h i sd e m a n d st oz o o mi nt h et o t a lo rp a r to ft h ei m a g e i nt h i sc a s e t h eo p e r a t i o n n e e d n tt ob er e a l - t i m e , p cc a ns a t l s f yo u rn e e d s w h i l ei nt h er a p i dd e v e l o p i n ga r e ao f r e a l - t i m ei n s p e c t i o na n dn e t w o r kt e c h n o l o g y ，v i d e os i g n a li st 0b ep r o c e s s e da n di t d e m a n d st h a tt h es y s t e mm u s tb er e a l - t i m e t h i sk i n do fm a s sd a t ap r o c e s s i n gn e e d s a p p l i c a t i o ns p e c i f i cc h i p s ，s oi cm a n u f a c t u r e sh m u g h tu pw i t hal o to fm u l t i m e d i a p r o c e s s i n gc h i p s t i st m $ 3 2 0 d m 6 4 2i st h em o s to u t s t a n d i n go n e i c e t e k - d m 6 4 2 - p c ii sab o a r du s e df o rd s pd e v e l o p m e n t b a s e do nt h i sa n dt h e c c so f f e r e db y1 1 w ed e s i g n e da ni n t e r a c t i v ev i d e op r o c e s s i n gs y s t e ma n dr e a l i z e d t h er e a l - t i m ep r o c e s s i n go fc o l o rv i d e oi m a g e t l l cf o l l o w i n gi si t ss e v e r a lp r o m i n e n t c h a r a c t e r i s t i c s ： 1 ) r e a l i z e st h eb i l i u e a ri m a g ez o o m i n ga l g o r i t h m ，a n do p t i m l z e si ta c c o r d i n gt o t h eh a r d w a r es t m c t e r eo fd m 6 4 2 ，t h i sm a k e si tc a np r o c e s st w oc h a a n d so fv i d e o i m a g e i ti sw e l lp r e p a r e da sat u r n o f f 2 1 h a r d w a r ei n t e r r u p ti su s e di nt h ep r o c e s so fi n f o r m a t i o ne x e h a n g eb e t w e e np c a n dd m 6 4 2 t h i ss a v e sol o to ft i m ef o rt h ec p u ，a n de n s u r e st h a tt h eo r d e rs e n db y p cc a l lb ec a p t u r e db yd m 6 4 2i n s t a n t l y t h e nt h eb o a l e n e c ki se l i m i n a t e d 3 xt h sp f o j e e ti ss e tu pa c c o r d i n gt ot h ec c sf r a m e w o r k o t h e ra l g o r i t h m sc a n h ee a s i l ya d d e dt 0i tt h eu p d a t i n go f c e r t a i np a r t si sa l s ov e r yc o n v e n i e n t 4 1 a no r d e ri n t e r p r e t i n gi n t e r f a c ei sa l s oo f f e r e d i ti sp r o g r a m m e db yv c + + t h i s u s e ri n t e r f a c ec a nc a p t u r et h eo r d e ra n ds e n di to u tt h r o u 曲c o mp o r t i tc a nb eu s e d f o rc o mc o m m u n i c a t i o n si no t h e rc a $ e sw i t h o u ta n ym o d i f i c a t i o n a b r i e f d e s e f i p t i o no f t b es y s t e mi sa st h ef o l l o w i n g ： au s e r c a ns e l e c tt h ev i d e or e g i o nt ob ep r o c e s s e db yw a yo f ap r o g r a mr u no n a p c t h ep a r a m e t e r so ft h ev i d e or e g i o ni ss e n to u tf r o mt h ec o mp o r to nt h ep ca n d r e c e i v e db yt h eu a r to nd m 6 4 2 ，t h ep r o g r a mf u no nd m 6 4 2u s e st h e s ep a r a m e t e r st o f i n i s hv i d e op r o c e s s i n go nt h eu c “2 r sw i l l t h i st h e s i si sm a d eu po f t h ef o l l o w i n gp a r t s ： 3 山东大学硕十学位论文 c h a p t e ro n ed i s c u s s e st h et e c h n o l o g i c a lb a c k g r o u n da n dt h es i g n i f i c a n c eo ft h i s p r o j e e l ，w eg i v et h ef r a m e w o r ka n di l l u s t r a t ei tb yad r a w i n g c h a p t e rt w oa n a l y s e st h en e a r e s tn e i g h b o ri n t e r p o l a t i o na l g o r i t h ma n db i l i n e a r i n t e r p o l a t i o na l g o r i t h m ，w eg i v eo u tt h e i rc o m p l e x i t ya n de f f e c t sa n dc h o o s et h e b i l i n e a ri n t e r p o l a t i o na l g o r i t h ma so u rv i d e os i g n a lz o o m i n gm e t h o d c h a p t e rt h r e ei n t r o d u c e sd m 6 4 2a n de x p l a i n st h er e a s o t lw eu s ei t a n dt h e n ，w e i n t r o d u c et h eh a r d w a r ea n ds o f h v a mp l a t f o r mb a s e do ni c e t e k - d m 6 4 2 - p c i 。t h i s e n s u r e st h a tw ec r e a l i z et h i ss y s t e m c h a p t e rf o u rd e s c r i b e se a c hp a r to f t h ep 叫e c ti nd e t a i l f i r s t l y , w eg i v et h ef l o w c h a r t o f t h ep r o g r a m m ro n d s p ，a l o to fa t t e n t i o n sa r ep a i do e t h eo p t i m i z i n go f t h e p r o g r a m t h eo p t i m i z e dp r o g m mc a nr e a l i z e2 56 p e rs e c o n dr e a d t i m es i g n a l p r o c e s s i n g t h e nw ei n t r o d u c e dt h ef u n c t i o n s ，r e a l i z a t i o na n du s a g eo f t h ep r o g r a mm n o np c i nt h ee n d ，w es o l v ead i f f i c u l tp r o b l e mo ft h ep r o j e c t ：r e a l i z i n gh a r d w a r e i n t e r r u p t t h r o u g ht h eh a r d w a r ei n t e r r u p t i n gm e c h a n i s m ，t h ec o m m a n df r o mt h ep c c a r lb ep r o c e s s e di n s t a n t l y a tt h ee n do ft h et h e s i s , w es u m m a r i z e dt h es y s t e m sf u n c t i o n ，u s a g ea n dg i v e s o m ei n s t r u c t i o n sf o rm r t h e l w o r k k e y t o r d sv i d e os i g n a iz o o m i n g d s p o p t i m i z e c o mp o r t h a r d w a r ei n t e r r u p t 4 山东大学硕士学位论文 第一章绪论 1 1 研究背景与选题意义 随着i c 技术及半导体工艺的发展，芯片的主频不断提高，这使得处理器的运 算速度越来越快，价格也不断降低。主频最高的是p c 机上的微处理器m p u ，但是 其发热量高，不适于嵌入式系统。一些微控制器m c u ，虽然控制能力很强，但是 计算能力太弱。d s p 是最适合进行数字图像运算的，但对于工程实践束说，它需 要外接许多外围器件，所以这导致其外围接口能力较差。 t i ( t e x a si n s t r u m e n t s ) 公司根据音视频处理的特殊需求，以d s p 芯片为核 心，外扩了丰富的接口设备并将它们集成在一个片子上，推出了d m 6 4 2 i l j 。这 是一款功能强大的音视频处理芯片，d m 6 4 2 不仅带有丰富的视频处理接口，还可 以实现无缝连接音视频的输入输出。其独特的d s p 内核，优化的总线结构，灵活 的音视频接口使得它在诸多的性能指标中遥遥领先。 弼络传输技术飞速发展，可以传输的带宽大幅度提高。计算机网络为隔络视 频通信提供了载体保证。模拟电话网最早用来进行视频传输，虽然模拟电话网覆 盖广，但是其带宽小，误码率高，难以达到实时和高清晰度的要求。后来又出现 了i s d n ，帧速率可达到1 5 帧秒左右，但是其价格昂贵，普及琦夏不高。随着瓦联 网技术的大发展，电信部门加大了宽带i p 嘲的建设。宽带i p 网络有着低成本、高 带宽的优势，使得承载在i p 网上的视讯业务的费用大大减少，降低了门槛，形成 了视讯通信向i p 网发展的趋势。 在网络带宽不断增加的同时，压缩技术的压缩比也不断的提高，这些技术使 通过网络将视频图像传输到用户逐渐的成为现实。视频数据量远大于音频。未经 压缩的c i f 格式，每秒2 5 帧的数据量将达到3 8 m b y t e ，在网络上传输是不可能 的。图像压缩解压算法的蓬勃发展使网络视频传输成为可能。这些图像压缩解压 算法在损失一些图像质量的前提下，大大的降低丁码率。早在1 9 8 6 年i t u 就提出 了h 2 6 1 标准，接着又出现了j p e g 、m p e g - 4 等标准。现在以h 2 6 3 在网络视频传 输上应用最为广泛，肝e g 一4 压缩性能也不错，但是其对象层太复杂，难以实现。 最新的h 2 6 4 1 3 l 标准能够以一半的码流达到和h 2 6 3 同样的图像质量，但是其计算 复杂度太高，在现有的处理器上还难以实现良好的效果。 5 山东大学硕士学位论文 在人们有合适的视频处理芯片并且可以获得大量视频信息以后，随之而来的 问题，就是用户根据自己的需求。对视频进行处理，以满足自己具体的需求。 近年来数字电视迅速发展，人们已不再满足于观看电视台发送过来的固定的 视频图像，而是希望实现画中画和多画面等效果。 以上提到的种种情况，都需要一个系统来接收用户的控制信息，并完成命令 的解析和对视频信号进行处理。本文的工作就是围绕这个目的展开的。 1 2 研究目标 1 2 1 选定图像放大算法 由于视频处理的数据量特别大并且直接的目的是供人们观看，所以首先需 要选定一个合适的放大算法。它一方面要满足用户的要求，具备可以任意倍数的 放大图像，获得较好的视觉效果等基本的特点；另一方面，还要考虑到硬件设备 的计算能力，做到计算量适中，占用尽量少的c p u 资源和内存资源。 1 2 2 算法在o s p 上的优化 对于实时信号处理，最终使程序在d s p 上稳定高效的运行是至关重要的，这 要求必须对程序进行各个层次的优化。在此优化过程中主要参考x d i s l 4 1 算法 标准进行算法的编写与优化。 x d a i s 标准提出的主要目的是使同一算法在t i 公司推出的不同型号的d s p 芯片间移植，并且可以将第三方提供的算法集成到一起，从而极大的缩短某一特 定工程的开发时间。标准中很多准则对程序优化具有很好的指导意义，所以应该 很好的参考该标准。 1 2 3 控制命令接收模块的编写 上述提到，最终要通过d m 6 4 2 上的程序接收控制信息，所以要编写控制任务 监听u a r t 设备，将传送来的信息传送给主处理任务。这一段程序需要自己编 写。i c e t e k d m 6 4 2 一p c i 板子提供了一个参考例程”1 ，它是由一个主程序通过监听 u a r t ，获得p c 机传送来的数据，然后再发送回p c 机。在这里，要自己建立中断 机制，以中断的形式接收u a r t 发送来的数据，并编写程序对数据进行解析( 分 山东大学硕士学位论文 析发出的命令) ，将其保存，并由控制任务发送给主程序。 1 2 4 中断机制的建立 r e f e r e n c ef r a a l e w o r k s ( r f ) 6 1 是一种e x p r e s s d s p 技术。f 的软件框架，适用于 多通道复杂算法的d s p 应用程序，它是基于d s p b i o s 实时操作系统o i 的t s k 模块的 应用，特别适合用于大型d s p 应用系统。它有许多版本，目前用到的是r f 5 。 r f 5 框架是一种组织程序的思想，它提供了许多库函数来联系各个算法。将 上述算法封装在r f 5 框架下，那么就可以运用r f 5 提供的消息传输机制。将控制 信号通过控制任务传递给主算法( 视频放大任务) ，在r f 5 框架下，将工程中加 入控制任务即可以完成所需的任务接收。i c e t e k 提供了相关例程：通过c c s 发送音量大小及滤波参数等控制信息，由控制任务接受后，传送给音频放大与滤 波任务。因为不可能在所有的上位机都安装c c s 环境【8 1 ，实用的控制信息应该由 一个简单的程序发送，然后由0 m 6 4 2 接收( 选用u a r t l 9 | ) ，而不应该由调试环境 ( c c s ) 发送控制信息。所以在r f 5 框架下加入了接收控制信息的硬件中断程 序，完成从串口发送来的控制信息。 1 2 5 上位机程序的编写 该程序的主要任务是向c o m 口发送控制信息，虽然可以下载到免费的串几调 试助手。但是役有可视化控制界面，需要自己用v c + + 6 0 编写符合要求的程序。 已有的串口调试工具可以用来验证各阶段程序的正确性。图1 1 是本工程的框 图，其中灰框所包含的部分都由d m 8 4 2 开发板所提供，右边的p c 机用来运行用 户接口程序。 图1 1 系统组成结构框图 7 山东大学硕士学位论文 8 回l | 2 接收到的一帧视频图像 圈i ，3 按用户要求显示的视频图像 山东大学硕士学位论文 最终实现的效果如图1 2 和1 3 所示，图1 2 是系统接收到的视频图像，如 果用户想仔细看清其中上部女士的面部表情，则可以通过运行在p c 机上的用户 接口程序，选定该范围，如图1 3 中的白框所示，然后选定放大倍数和放大后图 像所显示的位置。在图1 3 中，系统按要求将放大后的面部放在显示窗口的右下 角。 9 山东大学硕士学位论文 第二章算法研究与选择 插值( i n t e r p o l b t i o n r e s a m p li n g ) 是一种对图像进行分辨枣转换的处理方 法，它可以为数字图像增加或减少象素的数目。某些数码相机运用插值的方法创 造出象素比传感器实际能产牛象素多的图像，或创造数码变焦产生的图像。实际 上，几乎所有的图像处理软件支持一种或多种插值方法。图像放大后锯齿现象的 强弱直接反映了图像处理器插值运算的成熟程度。 下面比较了两种适合在d s p 上实现的插值方法，它们都可以使图像任意倍数 的放大，但是在放大效果和复杂程度上有所不同。 2 1 最邻近原则插值算法( n e a r e s tn e i g h b o ri n t e r p 0 1 a t i o n ) 最邻近原则插值 ”i 是最简单的插值方法，它的本质就屉放大象素。新图像的 象素值是原图像中与创造的象素位置最接近的象素的值。例如，如果把原图像放 大2 0 0 ，1 个象素就会被放大成( 2 x 2 ) 4 个与原象素象素值相同的象素。多数 的图像浏览和编辑软件都会使用这种插值方法放大数码图像，因为这不会改变原 图像的象素幅值信息，并且不会产生人为的防锯齿效果。在实际放大照片中这种 方法并不合适，因为这种插值会增加图像的可见锯齿( 见图2 5 ) 。如图2 1 所 示，其中黑色点为原图像的象素点，现在将原图像的行和列分别进行3 倍放大。 部分放大后的点用白色原点标出，它们的象素值与原象索值的关系如图中所示， 可以得出放大后图像象素点的值总是等于离它最近的原图像象素点的值。 o 固2 1 最近邻插值算法 吕gg096kd6ko o o c c o go譬o，ok1r6 o o o cogo苦苦kd占kooo 8fof05d46 n d b吕f宁亍qd，6 3 n bofqiofq世djo n d 山东大学硕士学位论文 2 2 双线性放大算法 与最近邻插值算法相比，双线性放大算法l l l 】放大的图像中一个象素足由原图 像中的四个象素根据权值计算得出的，这样就可以避免锯齿效应，获得较好的视 觉效果。对于硬件实现来说，它的计算量也是理想的。 即i f l i _ 呵 i ， f 0 0 中f i o 图2 2 象素对应关系图2 3 蒙素值计算关系 如图2 2 所示 “，现在分析原图像4 4 的象素点阵，对于放大后的任意一 个象素点f 。，它可以由原图像的f 。，f 。，f 。，f 。四个点得到，可以 假设原图像中仟意方向上的两个相邻点距离为1 ，则f ，f 。，f 。，f 。与 f ，的象素值关系可以重画如图2 3 所示，其中凡，o ，厂。，f ，和l 分别 对麻各个象素点的象素值。它们之间的关系是： l2 ( 1 一y ) + ，y + 厂， ( 1 一y ) ( 1 一x ) f 。h * f l 。 + y ( 1 x ) 工，懈f ，。 2 ( 1 - x - y + x * y ) * f o + ( x _ x $ y ) $ f 1 0 + ( y 一婷y ) + 厂0 1 + 卿4 i 厂i l = 斛凡+ b * f , o + c * f o + 脯一， 其中a ，b c ，d 是由x ，y 运算得出。 2 2 1 算法计算量 山东大学硕士学位论文 对于任意一块视频区域，其中的每个点的偏移距离x ，y 是固定不变的，所 以权值a ，b ，c ，d 也是固定的。编写程序时就可以提前把每个点对应的a b ，c ，d 的 值计算出来，放在内存里，用的时候直接调用，这样省去每次计算的所用的时 间，可以大大提高效率。这样，每计算个雾素点，需要四献乘法( a 几， 叶厂，。，甜 ，呻厂。) ，三次加法，八次存储器读( a ，b ，c ，d ， 凡，厂，叭，厂，) ，和一次存储器写( 厂。) 。 2 2 2 算法对内存的需求 计算一个放大后的象素，至多需要两行象素的值； 中存储两行原图像的象素值，节省了宝贵的内存资源。 另外，还需要存储每个象素的a 。b ，c d 四个权值， 行象素的权值，共需要四行象素的大小。 2 2 3 放大效果分析 这样一次只需内部存储器 每次只需要从外存中取一 双线性放大算法还有一个优点，因为放大时行权值和列权值是相瓦独立的， 所以该算法就可以任意倍数的放大或缩小图像图像的行和列。 最近邻插值法和双线性插值法的放大效果比较如图2 4 、2 5 和2 6 所示。 比较可得，最近邻插值法产牛比较明显的锯齿效应，而双线性插值法可以获得良 好的视觉效果。较其它复杂的图像缩放算法 1 3 1 ”，它的视觉效果也很令人满 意。 图2 4 原图像 山东大学硕士学位论文 图2 5 最近邻插值法2 2 倍放大后图像 图2 6 双线性插值法2 2 倍放大后图像 3 山东大学硕士学位论文 , ii _ - - _ - - i _ _ - _ _ _ _ 一 第三章开发平台介绍 3 。1t m s 3 2 0 d m 6 4 2 多媒体处理器 随着多媒体应用需求越来越大，市场上对专门用于多媒体处理的d s p 处理器 的需求也越来越多。通常视频处理对处理器和系统有如下要求：高速的运算能 力、高速的数据传送、大容量的数据存储器、灵活专用的视频接口等。基于此 童 l 2 皇 c h “ + m c m o 盯 吞 2 5 6 k b 置 呈 击 图3 id m 6 4 2 结构示意图 t i 公司于2 0 0 2 年推出了一款专门为数字媒体应用而设计开发的3 2 位定点d s p 芯片 t b l s 3 2 0 d m 6 4 2 ”。d m 6 4 2 采用基于c 6 4 x 的内核，扩展的高级甚长指令字( v e l o c i t l ) 体系结构，具有6 4 个3 2 位通用寄存器，8 个独立计算功能单元( 2 个乘法器，6 个算 术逻辑单元) 可以并行运行，因此多条指令可同时执行。可工作在6 0 0 m h z 时钟速 率，每个指令周期可并行运行8 条3 2 位指令，因此可达到4 8 0 0 m i p s 的峰值计算速 度。d m 6 4 2 采用两级缓存结构，第一级包括相互独立的l i p ( 1 0 k 字节) 和l i d ( 1 6 k 字节) ，只能作为高速缓存使用。第二级l 2 ( 2 5 6 k 字节) 是一个统一的程序数据 空间，可以整体作为s r a m 映射到存储空间，也可以整体作为第二级c a c h e ，或是 二者按比例的一种组合来使用。d m 6 4 2 具有6 4 个独立通道的e d m a ( 扩展的直接存储 山东大学硕士学位论文 器访问) 控制器，负责片内l 2 与其它外设之间的数据传输。容量较大的两级缓存 和e d 姒通道是脚6 4 2 高性能的体现之一，若能合理使用和管理，将能大幅度提高 程序的运行性能。它的基本结构如图3 1 所示。 3 。1 1t m s 3 2 0 d m 6 4 2 的c p u 单元 1 瑚6 4 2 有一个基于c 6 4 x 的c p u ，这是c 6 0 0 0 系，q d s p 的一个部分。为了满足视频 和图象处理的需要，该系列i ) s p 采用v e l o c it i 体系结构。该d s p 还采用高级超长 指令字结构，使得在一个指令周期能够并行处理多条指令。 图3 2d 啪4 2 的c p 【，结构图 如图3 2 所示，d m 6 4 2 的c p u 的组成部分包括：两个通用寄存器组( a 和b ，各3 2 个3 2b i t 通用寄存器) ；8 个功能单元( l 1 ，l 2 ，s 1 ，s 2 ，m 1 ，m 2 。d 1 ，d 2 ) 执行 逻辑、位移、乘法、加法和数据寻址等操作。除了取指和存指之外的所有指令均 对寄存器产牛影响，数据寻址单元( d l 和d 2 ) 专门负责寄存器组与存储器之间的 数据传递；从内存读数据的数据通道( l d i 和l d 2 ) ；两个写内存的数据通道( s t i 和 s t 2 ) ：两个数据地址通道( d a l 和d a 2 ) ：两个寄存器组数据交叉通道( i x 和2 x ) 。 d m 6 4 2 的c p u 最主要的特点是在体系结构上采用了甚长指令字( v l i w v e r y l o n gi n s t r u c t i o nw o r d ) 结构。在t i 的v l i w 体系结构中由一个超长的机器指令字来 骧动内部的8 个功能单元，每个指令字包含了8 个字段( 指令) ，字段之间相瓦独 立，各自控制一个功能单元，因此可以在单周期内发射出多条指令，实现很高的 指令级并行效率，最多可以在单周期内同时执行8 条指令。编译器在对汇编程序 山东大学硕士学位论文 - _ _ _ _ _ _ _ _ _ _ _ 一i _ _ _ _ - - _ _ - _ _ _ _ - _ - - _ _ _ _ _ _ - _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ 一 进行编译的过程中，决定代码中哪些指令合成一个甚长机器指令，在一个周期内 并行执行。这种指令上的并行安排是静态的，也就是说所有的指令都是在编译期 阃决定的，一旦决定以后，无论d s p 任何时候运行，它都保持不变。t i 这样的 v l i w 指令体系结构也可以看作一种依赖于编译器的超标量( s u p e rs c a l 哪实现方 案，而且比起一般的超标量结构更易于实现。同时d m 6 4 2 的c p u 内核的v l i w 采 用了类r i s c 指令集，多数指令拥有相同的流水级数，便于程序进行流水的优 化。 3 1 2t k s 3 2 0 d m 6 4 2 的c a c h e 结构 在d m 6 4 2 中，c a c h e 分为两级【峋。它的层次结构如图3 3 所示。c p u 和一级程序 高速缓存l 1 p 及一级数据高速缓存l 1 d 直接相连，两块c a c h e 分别为16 k b ，c p u 对l 1 的读写只需要一个时钟周期，工作在c p u 全速访问状态。二级缓存l 2 有2 5 6 k b ，供 程序和数据共用= 级缓存的分段和大小分配也有根多变化。用户可以设置它的 o k 1 6 k 3 2 k 6 4 k 1 2 8 k 2 5 6 k 为c a c h e ，剩下的被映射为可寻址的内存，可以用作存 储流媒体数据或者中断服务程序等。 片内两扭埂存( c a c h 日 】c a c h e k b 再孵新雕型1 - 2 c a c h e2 5 6 k b1 4 重靳彭置i d m 6 4 2 一一l 。1 f d c 。，a 。c 。h e 。1 置6 k 8 i 。 卜c a c h e l 2 “b i l 太小n r f 工配管i 1d s p 核i 7 i li p c a c h e l 6 k b i 1 l s r a m l 2 8 k bl li l 小r 匝新配置ll 小u f f i 削置l 图3 ，3 i 瑚6 4 2l i l 2c a c h e 层次结构 3 1 3t 惦3 2 0 d 娲4 2 视频口 w l s 3 2 0 d m 6 4 2 上集成了3 个v i d e op o r t ( 简称v p 口【1 7 1 ) ，每个v p 口可分为 和b 两个通道，每个通道都对应1 0 条数据线。每个v p n 可被配置为视频输入u 或者视 频输出口。捕提模式时，每个视频口可采集2 路8 l o 位视频。回放模式，每路视 频口可输出一路8 1 0 1 6 2 0 视频流。在b t 6 5 6 和y c 模式下每个通道的视频 f i f o 分成3 个独立区域，分别存放y 、c b 、c r 数据。配合强大的e d m a ，可实现视频 流的高速转移。但在同- - v i d e op o r t 只能同时被配置为捕捉模式，或同时被配置 为回放模式，不能一个通道为回放模式，另一个通道为捕捉模式。 5 山东大学硕士学位论文 捕捉模式下，个v i d e op o r t 可连接2 路视频( b t 6 5 6 ) ，即晟多可连接6 路视频输入。回放模式下，只支持一路输出( 8b i tr a w 模式可支持2 路同步输 出) 。视频口v p o 和v p l 的高8 位和i c a s p 复用管脚，低8 位和i t c b s p 复用管 脚。8 位模式输入或输出是高位对齐。考虑到需要有一个v p 口作为输出口，所 以d m 6 4 2 最多支持4 路视频输入。 捕捉模式下，采样频率可达8 0 协t z ，支持2 路8b i t l ob i t 的b t 6 5 6 模式输 入，支持o t 6 5 6 嵌入式同步模式，支持一个通道的“c 输入( 1 6 位或2 0 位y 、c 独立 输入) ，支持2 路r a w 模式输入( 2 路1 0 位或l 路2 0 位) ，支持4 ：2 ：2 格式的1 2 水平缩 放，支持4 ：2 ：2 到4 ：2 ：o 的色度重采样，灵活高效的f i f o 分配方式。6 4 位高速e d e m a 传输。 回放模式下，显示速率能达到1 1 0 唧z ，支持一路连续视频输出，数字视频 输出为y u v4 ：2 ：2 格式8 1 0b i t 精度；支持一路连续y e 1 6 2 0b i t 数字视频输 出，y u v4 ：2 ：2 格式；能产生行同步，场同步信号和消隐信号。 3 1 4t 骼3 2 0 d 淞4 2 的e d m a d m 6 4 2 的提供了增强型的直接存储器存取 1 ”( e d m a ) ，能提供超过2 g b s 的外 部带宽。e d m a 共支持6 4 路独立触发的事件传输，提供8 j 个参数对“l i n k i n g ”或 “c h a i n i n g ”进行配置。 为了提高系统性能，关键程序代码段和数据段须存放到片内内存，而又由于 片内内存大小的限制，大的数据块，如原始图像帧、放大后的待显示帧等必须存 储在片# b s d r a u 。显然，这就要涉及到数据在片内内存和片外s d r a m 之间的搬移操 作，这些数据搬移操作都可交f l j d m 6 4 2 的e d m a 单元去完成，不占用c p u 的计算周 期。 做为程序员，在程序中使用e d m a 有两种方法：一是使用较底层的e d i a 相关函 数，直接对e d m a 的相关模块进行配置和操作，如启动e d m a 、设置数据搬移的源和 目的地址、多个e d m a 操作构成一个链接等等，这种方法针对性较强，效率很高， 但是没有通用性：第二种比较简单的方法是直接调用t i 提供的d a t 模块的相关函 数，如d a t _ c o p y 、o a t e o p y 2 d 等，这些函数其实封装了第一种方法里面的一些 肋m a 函数，程序员使用起来就比较方便，只要设置好函数的参数( 如数据源、目 的地址等) 即可。 各个视频口与e d m a 的对应关系如表3 1 所示，这些对应关系部是固定的： 山东大学硬士学位论文 表3ld m 6 4 2 视频u 事件j e d m 通道对应表 视频 v p o av p o bv p l av p l bv p 2 av p 2 b 口事 件 yc b c ryc b c r yc hc r yc b c ryc b c ryc b c r e i ) y 【a 1 61 71 82 4 2 5 2 6 5 6 5 7 5 8 3 8 3 9 4 0 5 9 6 06 l4 l4 2 4 3 通道 下面，详细描述了利用e d m a 将现实中的视频信号，搬运到存储器中，等待 c p u 对其处理【4 3 4 5 】： 1 目标场最，光信号； c d 传感器，光信号变成模拟的电信号，将摄像头( 1 2 v 供电) 设置成p a l 制， 采用隔行扫描技术；2 5 帧s ，每帧分为奇数场和偶数场； 2 视频解码器( s h a 7 1 1 5 ) ，将模拟信号( 两路复合视频信号s v i d e e ) 转化为 数字信号；编码器为可编程器件，需要初始化，初始化的途径是运用板级支持库 提供的a p i 函数，通过1 2 c 总线9 j 4 对寄存器进行改写实现的。 在这里，系统运用了开发板所提供的板级支持库，需要设置的参数有输入视 频为p a l 制的模拟信号，产生i t u - b t 6 5 6 码流【舶1 ( y ：c b ：c r = 4 ：2 ：2 的视频信号和同 步信号) 等。 3 数字视频信号通过并行数据线与d h l 6 4 2 的v pr n 连接； 4 v p 口需要初始化：初始化途径通过更改存储器映像寄存器；初始化需要设 置的参数：输入输出；缓冲区对e d y a 产生中断的门限；缓冲区的机制是一个先 进先出的缓冲器，以输入口为例，如果设簧的门限为7 1 2 8 - 8 9 ：则如果缓冲区中 的数据达n 8 9 时，则产生对e d m h 的中断，e d m a 将取走8 9 个双字数据： 5 数据被取到s d r a m 中后的位置：一般在s d r a m 开设三个足够存放一帧的存储 空间，采用p i n g p o n g 存储的机制，e d m a 总是寻找最早被改写的( m o s t s t a l e d ) 并且没有被其它设备存取的帧空间，然后将新采集的数据存放其中。 6 现在的问题是e i ) m a 每次只是从视频口缓冲区中墩8 9 个字节的数据，它是怎 样将这些零散的数据存成一帧完整的图像的，这就要对e d m 进行设置。 在d m 6 4 2 中，各个口所对应的e d m a 通道是固定的，以v p 0 为例，它的y ，c b ， c r 分量分别对应的是1 6 1 7 ，1 8 号e d m a 中断，现在的任务是告诉e o l h 要从哪里取 数据( s o u r c e ) ，要放到哪里，这个是不断变化的，需要不断调整；还需要控制 要取的次数等等。 山东大学硕十学位论文 这样就需要编程人员非常清楚，取多少次，然后将取到的数据怎样存放才能 组成一帧完整的图像。这样就给编程人员带来了很大的麻烦。 7 对于普通用户来说，可以用f v i d 模块。使用该模块时。需要输入图像帧的 各种参数( 行，列，行消隐，行同步，场同步等) ，每个象素值的位数，视频口 通过这些参数初始化