(通信与信息系统专业论文)基于armdsp的视频处理系统设计与实现.pdf_第1页
(通信与信息系统专业论文)基于armdsp的视频处理系统设计与实现.pdf_第2页
(通信与信息系统专业论文)基于armdsp的视频处理系统设计与实现.pdf_第3页
(通信与信息系统专业论文)基于armdsp的视频处理系统设计与实现.pdf_第4页
(通信与信息系统专业论文)基于armdsp的视频处理系统设计与实现.pdf_第5页
已阅读5页,还剩71页未读, 继续免费阅读

(通信与信息系统专业论文)基于armdsp的视频处理系统设计与实现.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

武汉理工大学硕士学位论文 摘要 现代信息技术的迅猛发展和人们生活质量的提高,使得视频处理方面的研 究与应用,尤其是实时图像处理受到了广泛关注。近年来,d s p 技术的不断发 展,将数字信号处理领域的理论研究成果应用到实际系统中,并推动了新理论 和应用的发展,对视频处理等领域的技术发展起到了十分重要的作用。同时, 随着网络、移动通讯和多媒体技术的飞速发展,嵌入式系统也得到更加广泛的 应用。 本文分析了嵌入式系统、d s p 技术、以及视频处理系统等领域的最近发展 现状,结合本实验室在嵌入式开发、h 2 6 4 图像编解码、d s p 技术三个方面的研 究成果和实际开发经验,提出了采用t ic 6 0 0 0 系列的t m s 3 2 0 d m 6 4 2 和a r m ( $ 3 c 2 4 1 0 ) 为主体的硬件系统架构,设计了一种基于a r m + d s p 的嵌入式视频 处理系统。该系统将专门用于视频图像处理的d s p 与在通讯和实时控制方面具 有独特优势的a r m 处理器结合起来,为嵌入式实时环境下一些复杂算法的实现 问题开辟了新的途径。 文中首先介绍了系统的相关技术及标准,包括控制端用到的a r m 技术和处 理端的d s p 技术及核心处理算法h 2 6 4 编码原理,给出了系统的整体架构及设 计思路。整个系统分控制端和处理端以及两者之间的通信三个部分,控制端主 要由一个最小系统、l c d 及触摸屏和矩阵键盘构成,在a r m 上移植了l i n u x 操作系统,并在其上编写了外设驱动。处理端包括视频输入、输出模块、存储 模块、网络传输模块,移植了基于基本档次的t 2 6 4 代码到d m 6 4 2 中,并进行 了优化,完成了视频信号的采集和回显程序的编写,并将采集、处理、回显三 个进程加入到b i o s 中,实现了处理端的功能。两者通信采用h p l l 6 模式的通信 方式。最后,就系统的性能进行了测试,给出了测试效果图,并对结果进行了 详细分析。 在文章的最后,总结了课题研究所取得的成果及其不足之处;给出了系统 进一步研究和改进的思路。嵌入式是未来发展的主流,随着本系统的进一步完 善,必将具有更加广阔的应用前景。 关键词:嵌入式系统;视频处理;a r m 技术;d m 6 4 2 ;h p i 接口 武汉理工大学硕士学位论文 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fm o d e mi n f o r m a t i o nt e c h n o l o g ya n di m p r o v e m e n t o fp e o p l e sl i v e s ,t h er e s e a r c h e sa n da p p l i c a t i o n so fv i d e op r o c e s s i n g ,e s p e c i a l l yr e a l t i m ei m a g ep r o c e s s i n gc a t c hg r e a ti n t e r e s t sf r o ma l lo v e rt h ew o r l d i nr e c e n ty e a r s , t h ed e v e l o p m e n to fd s pt e c h n o l o g yh a sp u tt h et h e o r ya c h i e v e m e n to fd i g i t a ls i g n a l p r o c e s s i n gf i e l di n t op r a c t i c a la p p l i c a t i o ns y s t e m sa n dp u s h e dt h ep r o c e s so fn e w t h e o r ya n da p p l i c a t i o n i tp l a y sa ni m p o r t a n tr o l ei nt h ef i e l do fv i d e op r o c e s s i n g a t t h es a m et i m e ,t h ee m b e d d e ds y s t e mh a sb e e na p p l i e dm o r ei nt h ef i e l do fn e t w o r k , c o m m u n i c a t i o na n dm u l t i m e d i a t h ed i s s e r t a t i o ni sb a s e do no u rl a b sr e s e a r c h e sa n da p p l i c a t i o n si nt h ef i e l do f e m b e d d e ds y s t e m ,h 2 6 4 ,i m a g ec o d e ,d s pt e c h n o l o g y f i r s t l y , t h ed i s s e r t a t i o n a n a l y z e st h en e wd e v e l o p m e n ti nt h ef i e l d so fe m b e d d e ds y s t e m ,d s pt e c h n o l o g ya n d v i d e op r o c e s s i n gs y s t e m t h e n , i ti n t r o d u c e sa ne m b e d d e dv i d e op r o c e s s i n gs y s t e m , w h i c hb a s e do nd s pa n da r m ( s 3 c 2 4 1 0 ) t h es y s t e mi n t e g r a t et h eh i 曲p e r f o r m a n c e d i g i t a ls i g n a lp r o c e s s o r , t m s 3 2 0 d m 6 4 2o ft i ,a n da r mp r o c e s s o r , w h i c hh a sh i 曲 p e r f o r m a n c ei nc o m m u n i c a t i o na n dr e a l - t i m ec o n t r o l l i n g i tp r o v i d e san e w s o l u t i o n t or e a l i z es o m ec o m p l e xa l g o r i t h mi nt h ef i e l do fr e a l t i m ee m b e d d e ds y s t e m f i r s t ,t h ed i s s e r t a t i o ni n t r o d u c e st h er e l a t i v et e c h n o l o g ya n dc r i t e r i o n ,i n c l u d i n g t h ea r mi nt h ec o n t r o l l i n gp a r ta n dt h eh 2 6 4c o d i n ga l g o r i t h m si nt h ep r o c e s s i n g p a r t t h eo v e r a l lf r a m e w o r ka n ds y s t e md e s i g nh a v eb e e np r e s e n t e d t h es y s t e mh a s b e e nd i v i d e di n t ot h ec o n t r o l l i n gp a r t ,t h ep r o c e s s i n gp a r ta n dt h ec o m m u n i c a t i o n w h i c hb e t w e e nt h ep r e v i o u s t h ec o n t r o l l i n gp a r tc o n s i s t so ft h es m a l l e s ts y s t e m , l c d & t o u c hs c r e e na n dm a t r i xk e y b o a r d t h el i n u xo p e r a t i n gs y s t e mh a sb e e n t r a n s p l a n t e d o na r ma n dp e r i p h e r a ld e v i c ed r i v e r sh a v eb e e ni n s t a l l e d t h e p r o c e s s i n gp a r ti n c l u d e st h ev i d e oi n p u t & o u t p u tm o d u l e ,t h es t o r a g em o d u l ea n d t h e n e t w o r kt r a n s m i s s i o nm o d u l e t 2 6 4h a sb e e nt r a n s p l a n t e do nd m 6 4 2 ,w h i c hi sb a s e d o nb a s e l i n e v i d e os i g n a lg a t h e r i n ga n dd e m o n s t r a t i o np r o g r a ma n dp r o c e s s i n g p r o c e s sh a v eb e e na d d e dt ob i o s t h eh p i 16m o d eh a sb e e nu s e df o rt h e 武汉理工大学硕士学位论文 c o m m u n i c a t i o nb e t w e e n c o n t r o l l i n g a n dp r o c e s s i n g f i n a l l y , t h ee f f e c ta n d p e r f o r m a n c eo f t h es y s t e mh a v eb e e nt e s t e da n da n a l y z e d o nt h ee n d ,t h ed i s s e r t a t i o ns u m m a r i z e st h ea c h i e v e m e n ta n dd e f i c i e n c yo ft h e r e s e a r c h t h en e wi d e a so ff u r t h e rr e s e a r c ha n di m p r o v e m e n ti nt h i ss y s t e mh a v e b e e np r e s e n t e d t h ee m b e d d e di st h em a i n s t r e a mo ft h ef u t u r ed e v e l o p m e n t ,a n dw i l l h a v eb r o a d e ra p p l i c a t i o np r o s p e c tw i t ht h ef u r t h e ri m p r o v e m e n to ft h i ss y s t e m k e y w o r d s :e m b e d d e ds y s t e m ;v i d e op r o c e s s ;a r mt e c h n o l o g y ;d m 6 4 2 ; h p ii n t e r f a c e 独创性声明 本人声明,所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人 已经发表或撰写过的研究成果,也不包含为获得武汉理工大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 签名:! 趁茧日期:_ 。竺竺 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定,即学校有权保 留、送交论文的复印件,允许论文被查阅和借阅;学校可以公布论文的全部或部 分内容,可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名:! 蓥超篮导师签名: 武汉理工大学硕士学位论文 1 1 课题的研究背景 第1 章绪论 视频处理系统是- i j 集计算机技术、通信技术和数字视频技术于一体的综 合系统。以其方便、信息内容丰富等特点已经被广泛应用于工业生产、交通、 电力、银行、智能监控等场所。随着各种视频信息处理技术的改进和人们生活 水平的提高,视频处理系统的发展趋势必然是全面数字化、智能化、高速化、 网络化。因此基于p c 机的视频处理已经不能满足要求,早期的视频处理完全是 在p c 机上运行的,后来发展到d s p + p c 结构。但其成本高、体积大、连接复 杂,而且p c 机极易受到病毒的威胁。嵌入式技术近年来已经成为了一个研究热 点,它具有功耗低、可靠性高;功能强大、性能价格比高;实时性强,支持多 任务;占用空间小,效率高;面向特定应用,可根据需要灵活定制。将嵌入式 技术应用到视频处理系统中,将其做成一个独立的处理系统,这样使得系统具 有体积小巧、性能稳定、通讯便利、处理速度快等特点,这样将使得视频处理 系统具有通用性和可移植性。 实时性是视频处理系统的一大技术指标。实时系统是指对于外来信息能够 及时进行处理,并在控制对象允许时间范围内作出快速反应的系统,实时系统 对响应时间的要求比分时系统更高。它在逻辑和时序出现偏差将会引起严重后 果【1 1 。为了解决这一问题,目前出现了达芬奇技术,它成功实现了数字视频需要 四大要素的最新进步,即:处理器、开发工具、软件以及系统专业技术。在硬 件上集成了d s p 内核、a r m 内核,拥有高效的处理能力、存储器、i o 带宽、 平衡的内部互连以及专用外设组合;在软件上,在a r m 上移植了l i n u x 操作系 统,d s p 上移植常用视频编解码标准( 如h 2 6 3 ) 。但它是一个a r m + d s p 的片 上系统( s o c ) ,价格昂贵,在软件开发工具和产品的升级上依赖于t i 公司。为 了降低成本,拥有自己的软件开发工具和视频编解码库,本文采用比较成熟的 a r m 和d s p 搭建了一个嵌入式双c p u 架构的视频处理系统,在a r m 上移植 了l i n u x 2 6 1 4 内核用于系统的控制功能管理,将最新的视频编解码标准h 2 6 4 移植到d s p 中并进行优化,目的是实现真正意义上的实时视频处理系统。 武汉理工大学硕士学位论文 1 2 视频处理系统的发展现状 以往,在多媒体领域应用方面,尽管为了满足市场上不同的应用需求,出 现了各类支持不同协议编解码功能的视频处理系统。但它们的通用性和处理性 能一般较差,难以满足不同系统的特殊需求。集视频采集、处理、显示、与网 络交互等功能为一体的实时视频处理系统的研究得到了广泛的关注。 由于视频处理的数据量大,计算复杂,数据处理相关性高,因此实时视频 处理系统必须具有强大的运算能力。在实时的应用环境中,一方面,需要提出 更好的视频处理理论以提高系统的性能,如图像边缘检测理论、神经网络在视 频处理中应用等;另一方面需要在复杂度很高的情况下,保证系统的处理速度, 达到实时性的要求,以保证系统的实际应用的价值。 近几十年来嵌入式技术发展非常迅速,越来越多的视频处理问题,实时控 制问题等都可以在嵌入式系统中得以实现。嵌入式系统能够得到迅猛发展的原 因除了它的体积小之外,最重要的还有伴随嵌入式系统应运而生的嵌入式实时 操作系统,操作系统方便了嵌入式系统开发者的软件编写工作,同时在多任务, 多中断环境中显示了强大的优势。但是目前能够普遍实用的各种实时嵌入式系 统存在各自的问题。有的嵌入式系统为了达到快速的实时响应特性,丢失了高 速并行运算的硬件结构,有的嵌入式系统虽然具有高度并行运算的硬件结构, 却丧失了支持实时特性的能力。为此,几家著名公司分别推出了基于a r m 系列 的增强型芯片,这类芯片主要用于支持数据量较小的手持式多媒体应用,而对 于数据量庞大的其它图像处理应用则显得无能为力。 美国t i 公司推出了o m a p 芯片,它的目的是为了有效处理多媒体应用和 m m i ( 管理人机界面) 。但是这些处理器并不具备循环缓冲、位反转、平行移位和 硬件循环等针对数字信号处理的寻址功能,这就使其在代码最佳实现方面处于 严重劣势【2 】om o t o r o l a 的d r a g o n b a l l ( m c 9 3 2 8 m x l ) 处理器主要面向高级信息处 理设备、智能电话、网页浏览器、写字板、数字式媒体播放器、基于流行的p a l m o s 操作平台的手提电脑和移动式数字语音应用产品,它在大规模图像处理和实时 控制方面的能力仍然比较匾乏【3 】。i n t e l 的x s c a l e ( 如p a x 2 5 0 ) 是一款基于x s c a l e 技术开发的微处理器,一般用于手机、便携式终端( p d a ) 、网络存储设备、骨干 网( b a c k b o n e ) 路由器、交换机等领域,其芯片价格和开发软件费用都相对较高1 4 】。 从传统的硬件和软件设计看来,在现有的处理器基础上建构一个新的设计 2 武汉理工大学硕士学位论文 通常比重新去设计一个处理器更具吸引力。本文针对以上三种具有代表性的嵌 入式处理器的优缺点以及达芬奇技术目前在产品应用中的不成熟,提出采用主 要用于视频图像处理的c 6 0 0 0 系列d s p ( d m 6 4 2 ) 和主要用于控制领域的a r m ( $ 3 c 2 4 1 0 ) 为主体的硬件系统架构,设计一种嵌入式视频处理系统。用d m 6 4 2 保证视频处理快速算法的实现,用a r m 保证实时控制和形式多样的通讯接口的 实现。在软件上,系统架构的各个组成部分是独立的模块,每个模块的软件编 写总体上互不干扰。该系统克服了目前以上三种芯片在处理大规模视频算法和 实时控制及传输方面的不足,而且成本相对较低,软件开发过程相对比较容易, 可以借鉴已有的d s p 、a r m 的开发经验和开发环境,进一步降低系统成本。 1 3 课题来源及本文主要研究工作 本课题来源于杭州百事达计算机技术有限公司预研项目,目标是将摄像机 采集到的视频信号通过编码后发送到网络上,整个系统的控制在操作平台上完 成,以实现发送端的功能。 本论文着重阐述了一种a r m + d s p 的视频处理系统的软件实现,包括控制 端的系统移植及驱动设计;处理端视频压缩标准的移植与优化;以及两者之间 通过h p i 通信的程序设计。下面是本论文的研究工作: ( 1 ) 运用先进的a r m 技术,采用s a m s t m g 公司的$ 3 c 2 4 1 0 嵌入式处理器, 利用该芯片的多资源综合性,来实现控制端的主核心并在其上编写了相关外围 设备的驱动程序。 ( 2 ) 采用当前流行的嵌入式操作系统l i n u x 来管理系统的各个驱动,深入研 究了控制端各个设备的任务调度和与处理端的通信机制。完成了l i n u x 2 6 1 4 在 2 4 1 0 中的移植。 ( 3 ) 分析了d m 6 4 2 开发板的各个模块的接口信号,主要包括视频输入、输 出模块、网络模块、存储模块,对各个模块底层驱动进行了调试。编写了处理 端的驱动程序及应用程序。 ( 4 ) 分析了h 2 6 4 标准编码部分的结构,完成了其在d m 6 4 2 上的移植及优 化。 ( 5 ) 详尽分析了h p i 接口的工作原理,在l i n u x 下编写h p i 的驱动程序及 应用程序,给出了控制端通过h p i 控制处理端的通信机制。 ( 6 ) 利用现有的$ 3 c 2 4 1 0 开发板和d m 6 4 2 g d k 开发板调试了系统的软件 3 武汉理工大学硕士学位论文 部分,完成了整个系统的原理图绘制,p c b 已经制作出来,目前处于硬件调试 阶段。 1 4 本论文的组织安排 第一章阐述了课题的研究背景、视频处理系统的发展现状以及本论文的 主要研究工作。 第二章介绍了系统的总体规划及架构图,简要说明了系统所用到相关技 术及标准。包括a r m + d s p 技术和h 2 6 4 标准。 第三章详细阐述系统的硬件构成,控制端硬件电路主要包括s d r a m 、 f l a s h 、键盘接口、l c d 及触摸屏接口。处理端硬件电路包括视频输入、输出 模块、网络模块、存储模块。本章具体说明各个模块的硬件构成和工作原理。 第四章具体阐述了如何将嵌入式l i n u x 移植到$ 3 c 2 4 1 0 中去,主要包括 系统引导代码v i v i 的移植和l i n u x 2 6 1 4 内核的移植,最后详细叙述了l i n u x 下 驱动的编写和h p i 通信的实现。 第五章详细介绍了如何将h 2 6 4 编码标准移植到d m 6 4 2 上,并在上面进 行了相关优化工作,接着阐述了系统处理端处理流程的实现,给出了系统的测 试效果图,并进行了详细分析。 第六章总结与展望。总结了本课题研究所取得的成果及其不足之处,提 出了课题进一步深入研究的展望及应用前景。 4 武汉理工大学硕士学位论文 第2 章相关技术及系统架构 与通用计算机系统不同,嵌入式系统是针对具体应用设计的专用系统,直 接面向产品、面向应用、系统硬件和软件都高效设计,是在完成目标功能的基 础上最小化的系统,系统运行具有稳定高效的特点。本文很好的将嵌入式应用 到视频处理系统中,以下就a r m + d s p 技术以及h 2 6 4 视频编码标准简要介绍。 2 1a r m + d s p 技术简介 2 1 1嵌入式技术概述 嵌入式计算系统是指以应用为中心,计算机技术为基础,并且软硬件可裁 剪,适用于应用系统对功能、可靠性、成本、体积、功耗等有严格要求的专用 计算机系统;主要由嵌入式处理器、相关支撑硬件、嵌入式操作系统及应用软件 系统等组成。嵌入式系统是执行专用功能并被内部计算机控制的设备或者系统。 它一般不使用通用型计算机,而且运行的是固化的软件,用术语表示就是固件 ( f i r m w a r e ) ,终端用户很难或者不可能改变固件,操作系统和应用软件集成于计 算机硬件系统之中,即系统的应用软件与系统的硬件一体化。嵌入式系统具有 软件代码少、高度自动化、响应速度快等特点,特别适合于要求实时和多任务 处理的情况。它己用于移动计算平台( p d a ) ,信息家电( 数字电视、机顶盒、网 络设备) ,无线通信设备( 智能手机、股票接收设备) ,工业商业控制( 智能工控设 备、p o s a t m 机) ,电子商务平台,甚至军事应用等诸多领域。所有这些只是复 杂程度、应用目标不同而己【引。 嵌入式系统曾被专用和难懂的操作系统、工具和应用程序所占据,现在, 嵌入式设计却大大受益于开源软件( 特别是l i n u x ) 的透明性和强大的功能。嵌入 式l i n u x 正在这个嵌入式和普及计算的世界中前进。基于以上特点本系统在控制 端选用了a r l v l 作为控制核心,嵌入式l i n u x 作为控制端操作系统。 a r m 处理器目前包括:a r m 7 系列,a r m 9 ,a r m 9 e 系列,i n t e l 公司的x s c a l e 和s t r o n g a r m 等等。除了具有a r m 体系结构的共同特点以外,每个系列的a r m 微处理器都有各自的特点和应用领域【6 j 。a r m 9 系列处理器,它在高性能和低功 武汉理工大学硕士学位论文 耗特性方面提供了最佳的性能。它具有以下特点: ( 1 ) 5 级整数流水线,指令执行效率更高。 ( 2 ) 提供1 1m i p s m h z 的哈佛结构。 ( 3 ) 支持3 2 位的高速a m b a 总线接口。 ( 4 ) 全性能的m m u ,支持w i n d o w s c e 、l i n u x 、p a l mo s 等多种主流嵌 入式操作系统。 ( 5 ) m p u 支持实时操作系统。 ( 6 ) 支持数据c a c h e 和指令c a c h e ,具有更高的指令和数据处理能力。 a r m 9 系列微处理器包含a r m 9 2 0 t ,a r m 9 2 2 t 和a r m 9 4 0 t ,以适用于不 同的应用场合。a r m 9 2 0 t 和a r m 9 2 2 t 采用双8 k b 的c a c h e ,支持全性能的 m m u ,a r m 9 4 0 t 采用双4 k _ b 的c a c h e ,内置保护单元。它们为要求虚拟存储 管理和复杂内存保护提供了一个高性能的处理方案,可以用于高性能无线应用、 网络、图像、音视频编解码等方面。本设计采用s a m s u n g 公司的$ 3 c 2 4 1 0 即属 于该系列的处理器。 2 1 2d s p 概述 d s p 的主要任务是完成大量的数字信号实时计算,例如常用的f i r 滤波、 卷积和f f t 等算法。数字信号处理中的数据操作具有高度重复的特点,特别是 乘累加( m a c ) 运算在滤波、卷积和f f t 算法中使用十分频繁。d s p 在很大程 度上就是针对上述运算特点设计的。与相同时钟频率的通用微处理器相比,d s p 完成f f t 算法的速度要快得多【_ 7 1 。数字信号算法的特点在很大程度上决定d s p 的功能与结构。与其它的m c u 相比,d s p 有很多优点,但主要有以下三点: ( 1 ) 采用专用的硬件乘法器 在一般的计算机上,算术逻辑单元( a l u ) 只能完成两个操作数的加、减 及逻辑运算,而乘法( 或除法) 则由加法和移位来实现。因此,在这样的计算 机的汇编语言中虽然有乘法指令,但在机器内部,实际上还是由加法和移位来 实现的,因此它们实现乘法运算就比较慢。与一般的计算机不同的是,d s p 都 有硬件乘法器,使乘法运算可以在一个指令周期内完成。在t m s 3 2 0 c 6 0 0 0 系列 中则有两个硬件乘法器,即在每个时钟周期可以完成两个3 2 x 3 2 位、四个1 6 x 1 6 位、或八个8 x 8 位的乘法。硬件乘法器是d s p 区别其它通用微处理器的一个重 要标志。 6 武汉理工大学硕士学位论文 ( 2 ) 修正的哈佛结构 d s p 芯片采用修正的哈佛结构( h a v a r ds t r u c t u r e ) 。其主要特点是程序和数 据具有独立的存储空间,有着各自独立的程序总线和数据总线,由于可以同时 对数据和程序进行寻址,大大地提高了数据处理能力,非常适合于实时数字信 号处理。t i 公司的d s p 芯片结构是基本哈佛结构的改进类型。改进之处是在数 据总线和程序总线之间进行局部的交叉连接。这一改进允许数据存放在程序存 储器中,并被算术运算指令直接使用,增强了芯片的灵活性。只要调度好两个 独立的总线就可使处理能力达到最高,以实现全速运行。改进的哈佛结构还可 使指令存储在高速缓存器中( c a c h e ) ,省去了从存储器中读取指令的时间,大 大提高了运行速度。 ( 3 ) 流水线操作 d s p 指令系统是流水线操作。在流水线操作中,一个任务被分解为若干个 子任务,各个任务可以在执行时相互重叠。d s p 指令系统的流水线操作是与哈 佛结构相配合的,增加了处理器的处理能力,把指令周期减小到最小值,同时 也就增加了信号处理器的吞吐量。t m s 3 2 0 c 6 0 0 0 系列深度达到八级,即同时运 算八条指令,只是每条指令处于其执行过程中的不同状态。对于流水线编程还 有一个延迟间隙( d e l a ys l o t ) ,即有些指令的执行时间不是单个周期,指令结果 可以使用前一个或几个周期的等待时间,称为延迟间隙。在编程上采用线性汇 编语言,程序效率可达到标准汇编程序的9 5 , - t 0 0 。 2 1 3a r m 与d s p 通信接口技术 在控制和计算兼重的嵌入式系统设计中,由嵌入式处理器实现整个系统的 控制,由d s p 来执行计算密集型操作。如何高效地设计两者之间地接口以满足 嵌入式的实时性要求是非常重要的。本系统中没有大量的数据搬移和传输,只 需要完成简单的控制功能,主机接口( h p i ) 高达5 0 m b s 的通信速率足以满足 要求,而选用的d s p 包含了主机接口( h p i ) ,因此两者间的通信采用了h p i 接 口。h p i 接口是一种并行端口,主机处理器可以通过它直接访问c p u 的内部空 间。由主机掌控该接口的主控制权可使访问得到简化。主机与c p u 可以通过外 部或内部存储器相互交换信息。主机还可以直接对经过存储器映射的外围设备 进行访问。同c p u 存储空间的连接是通过d m a e d m a 控制实现的。主机与c p u 都可以访问h p i 控制寄存器( h p i c ) 。通过使用外部数据与接口控制信号,主机 7 武汉理工大学硕士学位论文 可以访问h p i 地址寄存器( h p 执) 、h p i 数据寄存器( h p i d ) 和h p i c 。 2 2h 2 6 4 视频编码标准 h 2 6 4 是m p e g 和v c e g 联合开发的一种比h 2 6 3 和m p e g 性能更好的视 频压缩编码标准。新的h 2 6 4 m p e g - 4p a r t1 0 a v c ( 以下简称h 2 6 4 a v c ) 视频编 码标准在编码质量和压缩比上比原有的视频编码标准都有了明显的提高。在相 同的视觉感知质量上,编码效率比h 2 6 3 ,m p e g 2 和m p e 4 提高了5 0 左右, 并且有更好的网络友好性。虽然i t u t 在发展和制定h 2 6 4 a v c 的前身h 2 6 4 时,主要的目标是为甚低比特率编码提供一种高性能的编码国际标准,但随着 m p e g 的加入以及更多新编码技术的采用,h 2 6 4 以其卓越的压缩性能在高清电 视、卫星电视、存储媒体、无线多媒体应用等方面显示出巨大的应用潜力。2 0 0 2 年9 月,v i d e o l o c u s 用该公司高度优化的h 2 6 4 a v c 编解码器在1m b i t s s 码率 上实现了m p e g 2 需要5 m b i t s s 码率的d v d 质量视频流端到端的传输。此外, 为了加快h 2 6 钐a v c 的普及和商业化进程,t 已经放弃了h 2 6 4 a v c 基本档 次( b a s e l i n ep r o f i l e ) 的版权以吸引更多的关注,使得h 2 6 4 a v c 可能成为最近几 年应用最广泛的国际标准之一【s j 。下面先就视频编码中的相关概念简要介绍,然 后介绍h 2 6 4 的编码结构以及工作原理。 2 2 1 视频编码中的基本概念 ( 1 ) 帧( f r a m e ) 视频序列中的一幅图像,h 2 6 4 支持5 种帧类型,最简单的一种是i 帧,它 不需要参考其他图像进行编码;p 帧和b 帧则需要参考已经编码的图像进行运动 预测:s p 和s i 帧是为在不同速率的码流之间进行有效切换而引入的。 ( 2 ) 宏块( m a e r o b l o c k ) 一组宏块构成了一个编码的图像,它是由每个图像中1 6 x 1 6 的亮度块和相 应的色度块组成的,是h 2 6 4 每一帧编解码过程中的基本单位。 ( 3 ) 片( s l i c e ) 也称条带,一幅图像由若干片组成,图像按片来组织宏块,每片包含一系 列的宏块。一个片就是由按光栅扫描次序组织的一组宏块( 但不连续) ,每个片独 立解码,不同片的宏块不能用于自身片中作预测参考。因此,片的设置不会造 8 武汉理工大学硕士学位论文 成误码扩散。 图2 1z i g z a g 型扫描顺序( 帧格式的块) 。 ( 4 ) z i g z a g 扫描 锯齿形扫描,视频编码中多用于对变换和量化后的宏块系数进行重排序, 它的扫描顺序如图2 1 所示。 2 2 2i t 2 6 4 的档次与级别 h 2 6 4 a v c 规定了三种不同的档次,分别是基本档次、主档次和扩展档次。 每个档次支持特定的编码功能,并且每个档次规定了对相应编码器和解码器的 要求 9 1 。 基本档次( b a s e l i n ep r o f i l e ) 支持帧内和帧间编码( 使用i 片和p 片) 以及自适应 上下文变长编码( c a v l c ) 的熵编码,主要应用于可视电话、视频会议和通信等实 时视频通信系统【l o l 。本文的研究是基于此结构的。 主要档次( m a i n p r o f i l e ) 支持i 、p 、b 片,支持交替视频加权预测,支持c a v l c 和c a b a c ,主要应用于数字广播电视和数字视频存储( 如高清电视和d v d ) 。 扩展档次( e x t e n d e dp r o f i l e ) 包含基本档次的所有特征,另外还支持b 、s p 、 s i 片,支持加权预测和数据划分技术,但不支持交替视频和c a b a c 熵编码, 它主要应用于网络的视频流传输i l 。 2 2 3h 2 6 4 编码器结构及工作原理 同以前的视频编码标准一样,h 2 6 4 没有明确地定义编解码器,但着重定义 了编码视频位流的语法以及对这种位流解码的方法。除了去块滤波器以外,它 的大部分功能和以前的标准都采取相同的原理,但h 2 6 4 a v c 标准的重要变化 体现在每个功能模块的实现细节上。 9 武汉理工大学硕士学位论文 l 芒毛、。 l 一 高露一攫卜 l 一一。? 帧内 图2 2h 2 6 4 a v c 视频编码结构框图 h 2 6 4 a v c 大致的编码器框图如图2 2 所示,主要由编码器前向通路和编码 器重构通路组成。简化的编码过程为:对于前向通路,输入当前需要编码的帧 f n ,该帧由一组1 6 1 6 像素的宏块表示,每个宏块可用帧内或帧间模式来编码。 基于重构的图像采样点来产生预测帧p 。在帧内模式,p 由帧n 中已经编码部分 再解码重构得到( 图中的e ,注p 是由未滤波的值组成) ;在帧间模式,p 是由 几个参考帧用运动补偿预测的方式得到,参考帧可以是已编码重构的前几帧或 后几帧( 时间上的前后) 。当前宏块减去预测块得到了残差块见,然后将其进行 变换量化得到了一组变换系数x ,这些系数被重排列和熵编码。熵编码系数和其 他一些信息( 宏块预测模式、量化步长、运动补偿、运动向量等) 组成了压缩比特 流,它将会被送到网络提取层用于传输或存储i l z 。 对于重构的通路,量化后的宏块系数x 被解码用来重构帧,以便进一步编 码下面的宏块。系数x 经过反量化、反变换得到残差宏块破,由于量化过程带 来损失,或和见并不相同。预测宏块p 加到成上得到重构宏块肛爿( 原始宏块 的失真块) ,用去块滤波器可以减少失真的影响,并由一系列宏块e 来产生重构 参考帧。编码器的重构通路的作用是保证了编码器和解码器使用相同的参考帧 来产生预测p 。否则,预测p 在编码器和解码器中就会有所不同,这将会产生误 差和漂移。 1 0 武汉理工大学硕士学位论文 2 3系统整体架构及设计思路 u s bil 嘲口li 硬盘 s 3 c 2 4 l o a ( l i n u x 2 6 ) d m 6 4 2 ( h 2 6 4 ) s d r a mi is d r a m ! 竺:! ! :r 兰量兰 o 一o _ _ _ _ 一 t v p 5 1 5 0h 摄像机 图2 3 系统结构框图 本系统在处理端采用d m 6 4 2 ,它是t i 公司推出的一款针对多媒体处理领域 应用的定点d s p 芯片,它可以在6 0 0 m h z 时钟频率下工作,每个指令周期可并 行8 条3 2 为指令,可达到4 8 0 0 m i p s 的峰值计算速度。具有丰富的外围设备接 口,包括三个可配置双通道视频端口( v p 0 ,v p l ,v p 2 ) ,一个多通道音频串行口 ( m c b s p s ) ,i i c 总线模块,可配置1 6 b i t 或者3 2 b i t 主机接口,6 4 位外部存储 器接口( e m i f ) 等。在控制端采用了$ 3 c 2 4 1 0 ,它是三星公司推出的1 6 3 2 位 r i s c 处理器,采用a r m 9 2 0 t 内核,其主要特性如下:2 0 3 m h z ,支持j t a g 仿真 调试;具有m m u ,支持l i n u x 、w i n c e 等操作系统;外部存取器控制器,共分 8 个b a n k ,每个b a n k 可访问1 2 8 m b 空间;片内4 k bs r a m ,可用作n a n d f l a s h 系统引导的缓冲区;4 通道d m a ,有外部请求引脚;2 个u s b 主机接 口,1 个u s b 设备接口等。 图2 3 所示是系统的整体框架图,$ 3 c 2 4 1 0 为主控制芯片,其负责系统的综 合事务,其外接键盘输入、l c d 、触摸屏、串口以及u s b 接口。d m 6 4 2 作为核 心芯片,外接视频输入模块、视频输出模块、存储模块、网络传输模块。摄像 机输出的模拟视频信号经过视频解码芯片t v p 5 1 5 0 解码后送到d m 6 4 2 中进行 h 2 6 4 压缩处理,然后存储到硬盘中,同时,原始视频信号经过视频编码芯片 s a a 7 1 0 5 后送到显示器显示,实现了回放的功能。用户可以在l c d 相应界面上 点击开始采集、回放及存储等控件来控制d m 6 4 2 的动作,系统实现的主要功能 有回放功能、存储功能、视频服务器功能。 整个系统上电后,a r m 板与d s p 板各自从板上的f l a s h 启动。在a r m 板上,$ 3 c 2 4 1 0 a 从f l a s h 读取启动代码,启动l i n u x 系统后,再执行应用程序, 詈i 武汉理工大学硕士学位论文 从而使a r m 部应用程序开始工作,如键盘的扫描、l c d 显示等。$ 3 c 2 4 1 0 a 还 向d m 6 4 2 发送命令控制信号,使d m 6 4 2 在处理自己的事务同时,还要受控于 $ 3 c 2 4 1 0 a 。在d s p 板上,d m 6 4 2 也选择从f l a s h 启动。读取d s p b i o s 系统 代码,从而启动d s p b i o s 。d s p b i o s 是一个可裁剪的实时操作系统,本身占 用很少c p u 资源。它可提供底层的应用函数接口,可支持系统实时分析、线程 管理、高度软件中断以及外部硬件中断与各种外设的管理。d s p b i o s 启动后, 再执行视频处理程序,使视频处理模块工作。整个系统的工作流程主要分a r m 工作流程和d s p 视频处理流程。a r m 工作流程主要是处理综合事务,包括键盘 控制、触摸屏的响应、向d s p 发出事故信号等。而d s p 就是主要处理对视频的 采集、压缩及保存,并在$ 3 c 2 4 1 0 的控制下可进行视频回放。a r m 端的软件具 体实现将在第4 章具体介绍,d s p 端的软件流程和实现将在第5 章介绍。 1 2 武汉理工大学硕士学位论文 第3 章系统硬件电路设计 本章主要讨论基于d m 6 4 2 和$ 3 c 2 4 1 0 相结合的视频处理系统的硬件设计与 实现。分为控制端、处理端和通信接口分别进行介绍,控制端主要包括:s d r a m 、 n a n df l a s h 、l c d 、触摸屏、矩阵键盘、u s b 接口等;处理端主要包括:视 频输入模块、输出模块、存储模块、网络模块等;两者通信接口采用的是h p i 接口。该系统充分发挥了d s p 强大的并行运算能力、a r m 的健壮的实时控制特 性,将两者有机的结合起来,各负其责。目前已完成了系统的p c b 制作,正处 于硬件焊接、调试阶段。 3 1 控制端硬件设计 $ 3 c 2 4 1 0 提供了以下丰富的内部设备:分开的1 6 k b 的指令c a c h e 和1 6 k b 数据c a c h e ,m m u 虚拟存储器管理,l c d 控制器( 支持s t n & t f t ) ,支持n a n d f l a s h 系统引导,系统管理器( 片选逻辑和s d r a m 控制器) ,8 通道1 0 位a d c 和触摸屏接口,u s b 主机,u s b 设备。通过提供一系列完整的系统外围设备, $ 3 c 2 4 1 0 大大减少了整个系统的成本,消除了为系统配置额外器件的需要【1 3 j 。 $ 3 c 2 4 1 0 a 使用线性地址空间,空间大小为4 g b ,存储空间被映射到地址空 间的低地址部分。存储空间分成8 个组( b a n k ) ,每个b a n k 的大小是1 2 8 m 字节, 共1 g b 。b a n k 0 到b a n k 5 的开始地址是固定的,用于r o m 或s r a m 。b a n k 6 和 b a n k

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论