（信号与信息处理专业论文）基于tms320dm355的高清网络摄像机的设计与实现.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 随着数字电视日益深入人心，高清概念也越来越为人所熟知。带有高清视频功能的 产品已经逐步走向人们的工作和生活中，高清视频处理已经走向系统实际应用并产业 化。毫无疑问，无论是从观众的视觉需求还是从产业发展的角度来看，高清视频已经成 为数字视频技术发展的必然趋势。 本文从嵌入式系统设计的基本要求出发，基于t i 公司的达芬奇处理器t m s 3 2 0 d m 3 5 5 实现了一种高清网络摄像机系统，重点在于高清网络摄像机系统的硬件设计与实现，完 成以t m s 3 2 0 d m 3 5 5 处理器为核心处理芯片的高清晰视频图像采集、处理、本地储存以及 远程传输的功能，主要工作包括系统的板级硬件设计、底层驱动程序的开发与调试。论 文主要的工作有如下四个方面： 1 、通过通用的高清视频编解码器芯片的比较，结合用户的实际应用需求，最终选定 t i 公司新一代达芬奇处理器t m s 3 2 0 d m 3 5 5 作为系统的控制和高清视频编解码芯片，并 给出了系统的整体硬件设计方案。 2 、本文将整个系统分成核心系统板、视频输入模块、以太网通信模块和电源模块四 个模块。核心系统板包括复位电路、时钟电路、j t a g 电路、s d r a m 电路、系统启动电 路和u a r t 电路，视频输入模块包括c m o s 视频采集电路和v g a 视频采集电路，对于每 个功能模块，本文都给出了详细的原理分析及设计说明。另外，本文在基于信号完整性 设计思想的指导下，利用专业的e d a 设计软件p r o t e ld x p 完成了整个系统的原理图设计 与p c b 制版。最后应用专业的信号完整性分析软件h y p e r l y n x 对反射和串扰进行了分析和 比较，并给出了解决方案。 3 、深入分析了嵌入式l i n u x 的体系结构和b o o t l o a d e r 启动过程，研究t i 公司的启动代 码参考程序并移植u b o o t 引导程序，完成m o n t a v i s t al i n u x 操作系统的内核引导。结合 t m s 3 2 0 d m 3 5 5 芯片视频处理前端和t v p 7 0 0 2a d 芯片的特点和外围电路的硬件连接，编 写t v p 7 0 0 2 的驱动程序代码并修改l i n u x 中的内核配置选项，并进行重新编译，最终成功 移植到系统板中，实现了来自于c c d 输入的高清视频( 1 2 8 0 7 2 0 p ) 和来自于x g a 输入 ( 1 0 2 4 7 6 8 ) 的p c 机信号的压缩编码和传输。 4 、论文最后对本课题的一系列工作进行了总结，给出了不同功能的系统实物图和测试 效果。讨论今后深入研究的方向。 关键词：高清网络摄像机m o n t a v i s t al i n u xt m s 3 2 0 d m 3 5 5嵌入式系统 i 南京邮电大学硕士研究生学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fd i g i t a lt v , t h eh i g h d e f i n i t i o nv i d e oi si n c r e a s i n g l yw e l lk n o w n t h ep r o d u c t sw i t ht h eh i 【g h d e f i n i t i o nv i d e of u n c t i o na l r e a d yg r a d u a l l ym o v et o w a r d sp e o p l e s w o r ka n dl i f e ，t h eh i g h d e f i n i t i o nv i d e op r o c e s s i n gh a sa l r e a d ym o v e dt o w a r d st h es y s t e m p r a c t i c a la p p l i c a t i o nf r o mt h ef u n d a m e n t a lr e s e a r c h t h e r ei sn od o u b t ，t h eh i g h - d e f i n i t i o nv i d e o t e c h n o l o g yh a sb e c o m et h ei n e v i t a b l et r e n do fd e v e l o p m e n te i t h e rf r o mt h ea u d i e n c e sv i s u a l p o i n to rf r o mt h ei n d u s t r y s ， t h i sp a p e rs t a r t sw i n lt h eb a s i cr e q u i r e m e n to fe m b e d d e ds y s t e m sd e s i g na n di m p l e m e n t sa h i g n d e f i n i t i o ni pc a m e r as y s t e mb a s e do nt i sd a v i n c it m s 3 2 0 d m 3 5 5p r o c e s s o r t h ep a p e r p u t se m p h a s e so nt h es y s t e mh a r d w a r ed e s i g na n di m p l e m e n t a t i o na n da c h i e v e st h ef u n c t i o no f h i g l l - d i g i n i t i o nv i d ec a p t u r in g ，p r o c e s s i n g ，l o c a ls t o r a g ea n dr o m o t et r a n s m i s s i o n t h em a i nj o b i n c l u d e sb o a r d - l e v e lh a r d w a r ed e s i g n ，l o w e r - l a y e rd r i v e rd e v e l o p m e n ta n dd e b u g g i n g t h em a i n w o r ki nt h ep a p e rh a st h ef o l l o w i n gf o u ra s p e c t s ： 1 、a c c o r d i n gt ot h ec o m p a r i s i o no fc o m m o nh i g h - d i f i n i t i o nc o d e cc h i p ，c o m b i n e d 晰t l lt h e p r a c t i c a la p p l i c a t i o nn e e d so fu s e lt h ep a p e ru l t i m a t e l ys e l e c t san e wg e n e r a t i o no ft id a v i n c i t m s 3 2 0 d m 3 5 5p r e c e s s o ra ss y s t e mc o n t r o la n dh i 曲- d i f m i t i o nc o d e cc h i p ，i nt h ee n d ，t h e s c h e m eo fs y s t e mh a r d w a r ed e s i g ni ss u g g e s t e d 2 、t h es y s t e mi sd i v i d e di n t ot h ec o r eo fs y s t e mm o d u l e ，v i d e oi n p u tm o d u l e ，e t h e m e t c o m m u n i c a t i o nm o d u l ea n dp o w e rm o d u l e t h ec o r eo fs y s t e mm o d u l ei n c l u d e sr e s e tc i r c u i t ， c l o c kc i r c u i t ，j t a gc i r c u i t ，s d r a mc i r c u i t ，s y s t e mb o o tc i r c u i ta n du a r tc i r c u i t s ，v i d e oi n p u t m o d u l ei n c l u d e sc m o sc i r c u i t sa n dv g av i d e oc a p t u r ec i r c u i t f o re a c hf u n c t i o n a lm o d u l e ，t h i s p a p e rg i v e sad e t a i l e da n a l y s i sa n dd e s i g nn o t e s i na d d i t i o n ，u n d e rt h eg u i d a n c eo ft h et h e o r yo f s i g n a li n t e g r i t y , t h ep a p e rs o f t w a r ef i n i s h st h ee n t i r es y s t e ms c h e m a t i cd e s i g na n dp c bd e s i g n u s i n gp r o t e ld x p f i n a l l yt h ep a p e rm a k e sa na n a l y s i sa n dc o m p a r i s o ni nr e f l e c t i o na n dc r o s s t a l k u s i n gt h em a j o rs i g n a li n t e g r i t ya n a l y s i ss o f t w a r eh y p e r l y l l ) ( ，a n do f f e r st h es o l u t i o n 3 、t h ep a p e ra n a l y s eo ft h ee m b e d d e dl i n u xa r c h i t e c t u r ei n t e n s i v e l ya n dt h eb o o t l o a d e rt o s t a r tt h ep r o c e s s ，r e s e a r c ht h et i sr e f e r e n c es t a r t u pc o d ep r o c e d u r e sa n dt r a n s p l a n tu - b o o tt o c o m p l e t et h eb o o t l o a d e ro fm o n t a v i s t al i n u xo p e r a t i n gs y s t e m i nt h es e c o n d ，a c c o r d i n gt o t h e c h a r a c t e r i s t i co ft m s 3 2 0 d m 3 5 5v i d e op r o c e s s i n gf r o n te n da n dt v p 7 0 0 2a d c h i pa n d n 堕室堂皇奎兰堡圭堕究生兰垡丝奎 垒! 竺竺! ! - _ - _ - _ _ - _ _ - _ _ _ _ _ - _ - i _ 一一 p e r i p h e r a lc i r c u i t s ，t h ep a p e rw r i t et v p 7 0 0 2d r i v e r c o d ea n dm o d i f yt h el i n u xk e r n e l c o n f i g u r a t i o no p t i o n , a n dr e c o m p i l e ，u l t i m a t e l yf i n i s ht h et r a n s p l a n t a t i o nt ot h es y s t e mb o a r d ， i m p l e m e n t i n gt h ev i d e oc o m p r e s s i o na n d t r a n s m i s s i o nf r o mc c dh dv i d e o ( 12 8 0 7 2 0 p ) i n p u t a n dx g a ( 10 2 4x7 6 8 ) i n p u to f t h ep c 4 ，砀ee n do ft h ep a p e rs u m m a r i z e st h ec o n c l u s i o no ft o t a lw o r k , a n dl i s t sb o a r d p h o t o g r a p h sa n dt e s tr e s u l t so f t h es y s t e m ，i n - d e p t hr e s e a r c hi ss u g g e s t e d k e y w o r d s ：h i g h - d i f i n i t i o ni pc a m e r a m o n t a v i s t al i n u xt m s 3 2 0 d m 3 5 5 e m b e d d e ds y s y t e m i i i 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：业趁趑：日期：丝! z ：垒：! 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：亚独整 导师签名：讪男 日期：塑颦：丝堕 南京邮电大学硕上研究生学位论文 第一覃绪论 第一章绪论 1 1 课题背景 近年来，随着视频技术的不断发展和人们生活水平的不断提高，在日常生活和工业 生产中人们对于视频质量的要求也越来越高，高清晰视频的概念也逐渐被人们熟知，这 就对视频处理技术提出了更高的要求。而计算机技术、信号处理技术、通信技术以及超 大规模集成电路的飞速发展，使得高清晰视频信号的采集、处理、传输和显示的要求从技 术上能够得以实现。到目前为止高清晰视频图像处理技术已经应用到很多领域，如工业 监控、视频会议、视频点播、远程医疗以及消费类视频产品等。 高清网络摄像机的实现包括高清晰视频图像的输入，压缩处理，存储、传输和显示等 多个方面的研究内容。 高清晰视频图像的输入，有两种模式的采集方式，一种是利用模拟摄像机现场采集 模拟视频图像，经a d 转换器把模拟信号转换成数字信号，然后送到多制式数字解码器进 行解码生成y u v 数字信号，最后送给处理器进行处理；另一种是利用数字摄像机采集现 场视频图像，直接送给处理器进行处理，如c c d c m o s 图像传感器。 数字化高清晰视频带宽很大，以传输2 5 f p s 的7 2 0 p ( 1 2 8 0 7 2 0 ，4 ：2 ：2 ) 格式的高清视频 为例，需要占用带宽为：1 6 5 0 7 5 0 8 2 2 5 = 4 9 5 m b p s ，因此在视频传输和存储时， 为了节省有限的带宽，必须对视频信息进行高效的压缩。视频图像压缩处理的算法和标 准很多，由i s o i e c 联合制定的m p e g 系列和i t u t 的h 系列标准占主导地位，另外还 有i s o 和c c i t t 为静态图像制定的m j p e g 标准。而对视频压缩标准的选择，主要是在 应用需求的引导下，考虑压缩比、传输带宽、画面质量和算法的复杂度等因素。目前市 面上主流视频产品的编码算法均采用m p e g - 4 或h 2 6 4 标准。在压缩算法的实现上有两种 方式：一是采用a s i c 芯片，从硬件上对视频进行压缩，目前已有很多厂商提供符合 m p e g 2 4 ，m j p e g 等标准的压缩芯片；二是利用软件压缩算法来实现视频图像的压 缩。 m p e g 4 是一套用于音频、视频信息的压缩编码标准，由国际标准化组织i e c 运动图 像专家组( 即m p e g ) 制定，第一版在1 9 9 8 年1 0 月通过，第二版在1 9 9 9 年1 2 月通过。 m p e g - 4 格式的主要用途在于语音传送、视频电话以及电视广播。由m p e g 1 和m p e g 2 发展起来的m p e g 4 是一种新型的多媒体标准，它与前标准一个重要区别就在于它是一个 基于对象的视频编码压缩标准，它所定义的码率控制的目标就是获得在给定码率下的最 优质量，它为互联网上传输高质量的多媒体视频提供了很好的技术平台。h 2 6 4 是新一代 堕室塑皇奎兰堡主塑窒生堂垡笙壅 一 釜二雯堡丝 的视频编解码压缩标准，在编解码技术上和i s o i e cm p e g - 4 第1 0 部分是相同的，这种编 解码技术也被称为a v c ，即高级视频编码( a d v a n c e dv i d e oc o d i n g ) 。该标准第一版的最终 草案已于2 0 0 3 年5 月完成。 高清晰视频在监控系统、视频电话、数字电视的应用还处于飞速发展阶段，由于数据 量很大，必须利用先进的压缩编码技术对其进行处理，才能在实际应用中对其进行高效可 靠地传输和存储。而数字视频信号的处理对实时性要求较高，传统的d s p 芯片难以满足 要求。t i 公司专为多媒体应用而设计的芯片t m s 3 2 0 d m 3 5 5 ( 简称d m 3 5 5 ) 是专用的数字处 理芯片，其丰富的外围接口使得它近乎是一个多媒体嵌入式系统的单芯片硬件平台，现 以d m 3 5 5 为基础设计一套完整的高清网络摄像机系统，可广泛应用于网络视频传输和实 时监控等各类图像信息处理系统。 1 2 设计目标 1 2 1 系统总体目标 系统应提供先进、稳定、可靠的高清网络摄像机系统，并具有较强的升级和扩展能力， 系统设计时兼顾以下因素： 稳定性和可靠性：稳定和可靠是系统的首要前提，在系统方案设计、设备选型、产品 研发以及操作使用中，要优先考虑稳定可靠的技术条件。 标准型和规范性：系统设计规范化，软件编写规范化，硬件选型规范化，产品规格规 范化。 实用性和先进性：采用的技术和产品，都具有先进、成熟、稳定、可靠和实用的特点， 技术和产品遵循开放性的原则，连接灵活，升级方便。 可维护性和可扩展性：系统的总体结构合理，容量适度，扩展灵活，即系统外设配置 可灵活增加，系统规模便于扩大，易于同相关产品互连。 经济性：系统平台应配置合理，具有良好的性价比。 1 2 2 具体设计目标 高清视频采集功能：支持高清视频的c c d 摄像头采集，支持v g a 视频采集，以及两 种视频输入接口的自由切换。 视频编解码及显示功能：支持7 2 0 p 的高清晰视频的m p e g 4 编解码，支持视频信号的 t v 实时显示播放。 具有数据存储功能：对输入的视频和图像等具有存储记录功能，可以存储在系统硬件 2 南京邮电大学硕士研究生学位论文 第一章绪论 或者s d 卡中，或者通过以太网口进行网络远程传输。 1 3 本论文的主要工作及结构安排 1 3 1 论文主要工作 本课题是以德州仪器公司( t i ) 推出的以低功耗高清视频达芬奇( d a v i n c i ) 处理器 t m s 3 2 0 d m 3 5 5 为核心来实现高清网络摄像机系统功能的，包括视频的采集、编解码、传 输和存储。本文工作着重集中在系统的硬件开发、系统的整体搭建以及l i n u x 下t v p 7 0 0 2 的驱动程序设计，主要体现在系统原理图设计、p c b 设计以及v g a 驱动程序设计和板级 调试。 首先论文对高清网络摄像机系统总体设计作了简单的介绍，并详细解析了 t m s 3 2 0 d m 2 5 5 芯片的结构特点和工作原理；然后阐述了整个嵌入式工作环境的搭建，包 括u b o o t 和l i n u x 的编译移植以及驱动程序的添加；最后详细介绍高清网络摄像机系统的 实现和调试过程。 主要工作概括如下： 1 系统总体设计方案：论文通过高清网络摄像机实现方案的选择和比较，明确了系统 的设计目标，包括总体目标和具体设计目标，并制定了切实可行的系统整体设计方案。 2 系统硬件电路设计与实现：根据任务需求和嵌入式微处理器的产品资料，确定系统 嵌入式处理器型号以及系统其他芯片的型号；给出系统硬件总体设计方案，绘制系统原理 图和p c b ，在p c b 设计时，为了能够提高系统的性能和设计成功率，考虑到系统信号的 高频特性，论文引入了基于信号完整性的电路系统的设计方法；最后对电路板各功能模块 进行硬件调试。 3 嵌入式m o n t a v i s t al i n u x 开发环境的建立和驱动程序的设计：根据嵌入式微处理的特 点，建立m o n t a v i s t al i n u x 开发环境，根据已有的软件开发包，移植u b o o t ，编写外设驱 动程序并加载入内核，重新编译、下载并启动，给出了详细的设计思想和流程图。 4 对整个系统的硬件进行调试：包括对电源模块的测试以及通过测试硬件测一些程序 分别对系统硬件的各个功能模块的测试。 1 3 2 论文结构安排 全文分为五个章节，具体结构安排如下： 第章：绪论。介绍了课题研究的背景和意义，分析了高清网络摄像机的概况，阐明 了系统的设计目标，以及本文的主要工作及结构安排。 3 堕室堕皇奎堂堡主翌窒竺堂垡笙奎茎二皇笙堡 第二章：系统总体需求分析及总体方案设计：在分析了嵌入式微处理器和视频处理 a s i c 芯片的性能和应用范围的基础上，选择了t i 公司最新的便携式高清( h d ) 视频达芬奇 ( d a v i n c i ) 处理器t m s 3 2 0 d m 3 5 5 ，给出了基于t m s 3 2 0 d m 3 5 5 的高清晰视频编解码系统的 总体设计方案。 第三章：系统硬件电路设计与实现。详细阐述了最小硬件系统设计，其中包括复位电 路设计、时钟电路设计、j t a g 电路设计、内存模块电路和系统启动模块电路设计；详细 阐述了视频采集模块电路设计，包括c c d 视频采集电路设计、v g a 视频采集电路设计和 视频复用电路设计；说明了基于信号完整性分析的板卡设计 第四章：系统的嵌入式l i n u x 驱动程序开发：简要介绍m o n t a v i s t al i n u x 开发环境，全 面分析嵌入式l i n u x 操作系统的启动过程，包括引导加载程序u 。b o o t 、内核的配置和编 译，实现l i n u x 的移植，在此基础上具体实现l i n u x 下t v p 7 0 0 2 驱动程序的开发。 第五章：对整个课题做了总结和展望。 4 南京邮电大学硕七研究生学位论文 第二章系统总体方案分析与设计 第二章系统总体方案分析与设计 对于一个应用系统而言，在技术、成本、系统性能、系统升级维护等方面总有着各不 相同的特点，市场总是接受性价比最好的、技术最先进的产品，因此，系统的总体设计方 案设计至关重要。本章按照嵌入式高清网络摄像机系统的总体要求，进行系统总体方案的 论证工作。 2 1 系统方案选择 2 1 1 方案的比较 对于嵌入式系统来说，核心是具有数据处理和系统管理能力的嵌入式微处理器，对于 高清网络摄像机系统的设计方案，目前比较流行的有三种： 1 基于通用的d s p + m c u 控制器的解决方案【2 】 如t i 公司的o m a p ( o p e nm u l t i m e d i aa p p l i c a t i o np l a t f o r m ) 架构就是基于这一体系的， 它利用d s p 强大的处理能力和m c u ( m i c r oc o n t r o l l e ru n i t ) 方便快捷的控制功能，从而 大大地提高了整个系统的工作性能。 这种方案主要由两部分组成，一个是通用d s p ，一个是m c u 微控制器，它们两个分 别担任着不同的角色，d s p 主要用于处理视频数据，完成对视频数据的编解码功能，视频 图像质量取决于下载到d s p 中的软件性能；m c u 则主要用来控制系统的各个外围接口， 并协调它们的正常工作。其优点是外围接口丰富，协议处理能力强，但是其对视频数据 处理的效率比较低，并且由于涉及到两个芯片之间的协调工作，使得系统的开发难度加 大，开发周期加长。 2 基于a r m 处理器和专用视频编解码a s i c 芯片 这种方案常见的是选择以a r m 为核心处理器和专用的媒体编解码芯片进行组合， a r m 处理器完成系统外设通信与控制功能，而视频信号的压缩编码由专用的a s i c 芯片来 完成，如海思半导体推出的h i 3 5 1 0 芯片，b r o a d c o m 公司推出的支持高清消费类视频产品 的b c m 7 4 1 1 芯片等都是基于m p e g 4 或者h 2 6 4 视频编码标准的专用a s i c 芯片。其优点 是开发时间短，性能可靠，但是由于采用的是a s i c 芯片，其灵活性较差，产品一旦定 型，进行二次开发周期较长。 3 基于面向媒体信息处理的专用d s p 如t i 公司的t m s 3 2 0 d m 6 4 x 系列的数字媒体处理d s p ，a d i 公司的b l a c k f i n 系列媒体 南京邮电大学硕士研究生学位论文 第二章系统总体方案分析与设计 处理器b f 5 6 1 等，以及p h i l i p s 公司的t r i m e d i a n e x p e r i a 系列的多媒体处理d s p 。面向多 媒体处理的专用d s p ，集成了m c u 和d s p 的优越功能，并且加入专门用于媒体处理的硬 件指令，使得它在处理视频等多媒体数据时的效率有了极大的提高，在采用软件算法 时，可以方便地实现视频编解码标准的算法转换和新标准的升级而不需要修改硬件，灵 活性很高，但是采用软件编解码，在实现复杂度很高的m p e g 4 或者h 2 6 4 算法时难度很 大，高清晰视频编解码更是遥不可及，同时芯片的负荷比较重。 4 新型的专用双核视频处理器 如t i 公司的t m s 3 2 0 d m 3 5 5 达芬奇( d a v i n c i ) 处理器，上海杰得微电子的x 9 0 0 多媒体 应用处理器。这种新型的处理器基于a r m + 硬件编解码器的双核架构，a r m 处理器的优 势主要体现在对通信产品外设的控制能力，而硬件编解码器可以满足高清晰视频极大的数 据吞吐量和计算量的要求，同时开发者不必干预双核之间的通信与协调，另外硬件编解码 速度很快，功耗极低，弥补了前三种方案中的不足，是一种具有广阔应用前景的处理器架 构。 2 1 1 嵌入式微处理器的比较 在目前的视频编码标准中，m p e g 4 是技术上最完善并且产业化应用程度最高的视频 压缩国际标准，在支持m p e g - 4 的芯片方面，包括飞利浦的p n x l 3 0 2 、p n x l 5 0 0 、 z 0 凡蝌c o a c h 7 、t 1 2 7 0 、台湾凌阳公司的s p c a 5 3 6 等等。大量技术成熟的芯片已经诞 生并投入了大规模的应用。这些应用于m p e g 4 的芯片大都经过了相当长时期的技术检 验，拥有良好的兼容性和稳定性。正是由于这些芯片的支持，m p e g 4 才得以在编解码领 域占据统治地位。 h 2 6 4 是在压缩比率、带宽要求及与通信应用高度整合的能力方面优于m p e g - 4 的新 一代视频压缩标准，但是国内支持高清晰视频h 2 6 4 编解码的应用还不多，更没有规模化 生产。因此，系统的研究首先采用m p e g 4 视频编码国际标准。 1 t m s 3 2 0 d m 3 5 5 芯片 t m s 3 2 0 d m 3 5 5 是德州仪器( t i ) 新近推出的针对便携式高清( h d ) 视频产品市场的达芬 奇( d a v i n c i ) 处理器。其内部具有一个a r m 9 e j s 的主处理器，负责整个系统的控制，同时 也集成了一个m p e g j p e g 协处理器，专注于m p e g j p e g 算法的实现。其内部的视频处 理子系统( v p s s ) 及其它外设可方便快速的实现视频的采集、预处理、显示、网络传输等 功能。同时，其低廉的价格也为用户降低了成本，其2 1 6 m h z 版本在批量价格已低于l o 美元。而本课题要设计的网络摄像机便选用此处理器。 6 南京邮电大学硕士研究生学位论文 第二罩系统总体方案分析与设计 d m 3 5 5 的最大亮点是可以目前市场上最低的成本实现高清( 7 2 0 p ) m p e g - 4 视频的压缩 和播放，其m j c p 能够以7 2 0 p 格式与每秒3 0 帧的速度提供高清m p e g 4 编解码功能，以 及以每秒5 千万像素的速度提供j p e g 编解码功能。 d m 3 5 5 是t i 首款没有集成d s p 内核的多媒体处理器，而是采用了协处理器来实现多 媒体数据的编解码，这是因为通用d s p 内核在处理多媒体数据时的功耗太大，而d m 3 5 5 功耗极低，d m 3 5 5 在高清m p e g 4 编码过程中的功耗约为4 0 0 m w ，而待机功耗仅为l m w 。 也就是说，在视频模式下使用基于d m 3 5 5 的数码相机时，只需用两节a a 电池即可录制 8 0 分钟的高清视频。 目前市面上能与之相竞争的产品主要有上海杰得微电子公司的x 9 0 0 应用处理器和华 为海思半导体公司的h i 3 5 1 0 多媒体处理器，虽然它们都是a r m 9 + 硬件编解码处理器的双 核架构，但它们的缺点是视频分辨率不高，主要针对数字相框、智能手机市场。 2 x 9 0 0 芯片【4 】 由上海杰得微电子有限公司开发生产的x 9 0 0 多媒体应用处理器是在中国第一款 0 1 3 u m 工艺多媒体应用处理器z 2 2 8 成功基础上实现的又一跨越性杰作，它是目前中国第 一款支持多格式全硬件编解码的移动多媒体应用处理器，x 9 0 0 的集成度和性能远远高于 z 2 2 8 ，x 9 0 0 不仅支持m p e g 4 全硬件编解码，而且还支持h 2 6 4 全硬件解码、智能电源 管理、数据安全、内容保护和u s b 2 0o t g 。此外，凭借其独特的全硬件音视频解码架构 和智能电源管理技术，x 9 0 0 完成了d 1 ( 7 2 0 5 7 6 ) 分辨率、3 0 f p s 和h 2 6 4 解码仅需3 0 m w ， 这是业界目前最出类拔萃的低功耗技术。x 9 0 0 内置的r i s c 处理器使用a r m 9 2 6 e j 内核， 最高标称频率2 6 6 m h z 。x 9 0 0 集成了一个m o v e 协处理器来支持基于软件实现的多媒体 解决方案，如r e a lr m r m v b 和a 、，s 格式视频播放。在嵌入式操作系统方面，目前x 9 0 0 支持l i n u x 和w i n d o w sc e 5 0 。x 9 0 0 储存器类型与外设功能如下： ( 1 ) 储存器类型方面：支持2 g b 的d d i u d d r 2 储存器、4 g b 的n a n d 闪存、2 5 6 m b 的n o r 闪存、最高2 g b 的s d l i i l i s d m m c 闪存、c f 卡、i d e 硬盘接1 3 、b o o t s t r a p 支 持n a n d n o r 闪存和e e p r o m ； ( 2 ) 视频输入输出接口：支持各种c c d c m o s 摄像头、i t u 6 5 6 电视输入输出接口； ( 3 ) 视频处理单元：支持3 0 f p s ，最高( 7 2 0 5 7 6 ) 分辨率的h 2 6 4 视频解码，以及支持 多种针对小尺寸屏幕显示的图像后处理功能( 如去块滤波、去环滤波、去抖动、图像缩放和 画中画等) ； ( 4 ) 外设接口方面：x 9 0 0 支持3 3 m h zp c i 2 0 接口、t f tl c d 显示控制器、至少8 8 的键盘阵列； 7 雨京邮电大学硕士研究生学位论文第二章系统总体方案分析与设计 ( 5 ) x 9 0 0 采用o 1 3 u r n 工艺制造，封装4 0 0 t f b g a ，尺寸为1 7 x 1 7 m m 。 ( 6 ) x 9 0 0 支持m p e g 4 和h 2 6 4 视频格式，其外设功能很强，功耗极低。但是其支持 的视频分辨率只能d l ( 7 2 0 x 5 7 6 ) 或者v g a ( 6 4 0 4 8 0 ) ，所以x 9 0 0 的应用范围只能是手持便 携式设备( 如智能手机、游戏数据播放器g d p 、移动电视和i p t v ) 。 3 h i 3 5 1 0 芯片 h i 3 5 1 0 是一款基于a r m 9 、d s p 双处理器内核以及硬件加速引擎的高集成、可编程、 支持m p e g 4a v c h 2 6 4 等多协议的高性能通信媒体处理器，可广泛应用于实时视频通 信、数字图像监控等领域。视频处理单元能够支持m p e g 4a v c h 2 6 4b a s e l i n e 、 h 2 6 3 + 、h 2 6 1 、j p e g 等多种协议的实时编解码。m p e g 4a v c h 2 6 4 的运动估计、运动 补偿、去方块等技术提高了压缩效率及视频质量。数字版权加密和数字水印技术为数据 通信的安全提供了强有力的保障。图形处理单元能够提供视频去噪、图像增强，以及运 动检测等功能；支持任意比例的视频、图形的缩放，以及d e i n t e r l a c e 处理；支持o s d 、 2 d 图形加速，为应用图形界面开发提供丰富的特性。 作为最新开发的片上系统( s o c ：s y s t e mo n c h i p ) 的编解码芯片，h i s i l i c o n 公司的 h i 3 5 1 0 在设计时充分考虑到兼容性和使用的方便性，可以进行独立编码、解码及同时编 解码。该芯片外设功能强大，处理能力强，开发自由度高，缺点是可支持的输入视频分 辨率不是很高。表1 1 是对上述三种视频编解码芯片性能的比较。 表1 - 1 三种视频编解码芯片的性能比较 项目 t m $ 3 2 0 d m 3 5 5x 9 0 0 h i 3 5 1 0 工作频率m h z2 7 02 6 62 4 0 内核电压1 31 21 2 2 5 功耗 7 5 0 m w3 0 m w8 0 0 m w 封装 3 3 7 一p i nf b g a4 0 0 一p i nt f b g a4 0 0 - p i nl f b g a 1 3m m x l 3m m1 7 m m x l 7 m m 1 9 m m x1 9 m m 可支持最人分辨率 l2 8 0 x 7 2 07 2 0 x 5 7 68 0 0 ) ( 6 0 0 视频输入精度8 位8 位8 位 能够实现q c i f c i f 4 c i f 格式的h 2 6 4 视频压缩方法较多，其中t i 和其他公司的d s p 实现方案通常需要对h 2 6 4 视频编码参考软件进行优化、移植、改善和提高，系统的主要 性能由软件水平所决定。至今为止，这些方法还很难实现高于4 c i f ( 7 0 4 5 7 6 ) 格式以上的 视频实时压缩编码功能。为了能够实现压缩分辨率达到7 2 0 p 或者更高分辨率的高清晰视 频，如1 0 8 0 p ( 1 9 2 0 1 0 8 0 ) 、1 0 8 0 i 格式视频实时压缩、存储等功能，综合考虑设计成本、系 统功耗、设计难度、开发周期以及产品适用范围等因素，本研究项目决定采用新型的专 用双核视频处理器t m s 3 2 0 d m 3 5 5 来实现高清晰视频编解码系统。另外，德州仪器( t i ) 公 8 南京邮电太学顿研究生学位论女第二章系统总体方案丹析，设h 司正在开发t m s 3 2 0 d m 3 5 5 的r 一代支持h 2 6 4 视频编码标准的视频处理器 t m s 3 2 0 d m 3 6 5 ，这两种芯片外设完全相同，所以使用t m s 3 2 0 d m 3 5 5 开发的支持m p e g 一4 的高清网络摄像机系统只需要更换处理器就可以升级为支持 l 2 6 4 的系统。 2 1 2t m $ 3 2 0 d m 3 5 5 简介 t m s 3 2 0 d m 3 5 5 是德卅仪器( t i ) 公司推出的面向便携高清视频应用的新型低成本达芬 奇( d a v i n c i ) 处理器【lj ，其内部功能框图如图2 1 所示。d m 3 5 5 可以实现7 2 0 p 高清m p e g 4 编码或解码。支持3 0 审s 实时处理，编码解码能力可达每秒5 0 0 0 万像素。其内桉包含了频 率为2 1 6m h z 或2 7 0m h z 的a r m 9 2 6 e j s t m 、m j c p 协处理器，及包含有前端和后端的 视频处理子系统口j ，可支持c c d 控制器预览、图像缩放。此外，a r m 端有1 6k b 指令高 速缓存、8 k b 数据高速缓存、8 1 0 3 r o m 以及3 2 k b 程序数据缓存。外设包括：u s b 20 h s o t g 设备与迷你主机物理接口，可连接d d r f d d r 2 的外部存储器接u ( e m i f ) f ”。采用 3 3 7 p i n s 的b g a 封装，间距o6 5r n m ，面积1 3 m r n x l 3 m m 。集成式m j c p 相当于4 0 0 m 的 d s p 将包含有前端和后端的视频处理子系统称为v p s s ，其预览处理引擎的等效d s p 相 到缢 乓 r a mr o m 3 2 k b8 k b i6 4 b i t sd m a j d a t ab u s = ：= 3 2 b i t sc o n f i g u r a t i o nb u s 。c l o c k 瓦西| j i 丽面 图21t m s 3 2 0 d m 3 5 5 芯片功能框图 ( a e m i n s p i ( u f ) 南京邮电大学硕上研究生学位论文 第二章系统总体方案分析与设计 当于9 0 m ，图像缩放等效为6 0 m ，o s b 等效为9 0 m ，因此整体相当于2 4 0 m 的处理能力， 而v p s s + m j c p 可以提供相当于6 4 0 md s p 处理能力，并针对o e m 产品差异化提供 a r m ，以实现整体系统的控制，也可以实现实时操作系统。 t m s 3 2 0 d m 3 5 5 作为d a v i n c i 系列双核数字媒体处理器，不仅具有a r m 9 2 6 e 处理器， 基于l i n u x 操作系统方便的管理和控制整个芯片的外设，而且为便捷的实现多媒体的功能， d m 3 5 5 的外围设备集成了非常丰富的音频、视频和网络通信接口。d m 3 5 5 的特点主要包 括： 高性能数字媒体处理器 时钟频率为2 1 6m h z 或者2 7 0 m h z 的a r m 9 2 6 e j s 内核 软件上与a r m 9 处理器全兼容 a r m 9 2 6 e j s 内核 支持3 2 b i t 和16 b i t ( t h u m bm o d e ) 指令集； d s p 扩展指令集和单周期乘加器( m a c ) ； 支持a r mj a z e l l e 技术； 支持实时调试的嵌入式i c e r t 逻辑； a r m 储存器结构 - 16 k b y t e 指令c a c h e 和8 k b y t e 数据c a c h e 3 2 k b y t er a m 和8 k b y t er o m m p e g 4 j p e g 协处理器 一支持高清( 7 2 0 p ) ，d 1 ，v g a 视频的m p e g 4 编解码 支持高达5 0 m 像素每秒的图像j p e g 编码 视频处理器子系统( v p s s ) 视频处理前端( v p f e ) 1 b