（计算机应用技术专业论文）基于davinci技术的智能家庭监控系统的设计与实现.pdf

摘要 摘要 随着视频信号处理器的发展，嵌入式视频监控系统的应用越来越广泛，对视 频监控智能性的要求也变得越来越高。本文在深入研究t e x a si n s m m a e n t ( t i ) 公司 最新的d a v i n c i 技术后，针对家庭监控环境设计并实现了一种基于d a v i n e i 技术的 智能监控系统的基础框架。主要研究内容涉及d a v i n c i 技术的硬件系统架构、软 件系统架构及l i n u x 下的应用程序开发等。 嵌入式视频处理系统的运行方式通常为通用嵌入式处理器与数字信号处理器 协同工作的模式。在d a v i n c i 技术推出以前，都采用分离式处理器构成视频监控 系统，d a v i n c i 技术的硬件产品1 m s 3 2 0 d m 6 4 4 6 在一个芯片封装内集成了a r m 嵌入式处理器内核与c 6 4 x + 数字信号处理器内核，提高了系统集成度、降低了系 统板级成本，双处理器的协同运作效率也有很大提高。本文在对需要实现系统的 功能作出分析后，采用t m s 3 2 0 d m 6 4 4 6 作为系统的核心处理器，并设计了智能 家庭监控系统的硬件系统。主要工作涉及芯片选型、视频输入输出接口设计、 d d r 2 动态存储器接口设计、f l a s h 存储器接口设计、a t a 硬盘接口设计、串行存 储器接口设计、音频接口设计、以太网接口设计、u s b 接口设计、u a r t 接口设 计、外围控制接口设计及系统电源设计，本文还对系统的各个组成部分的功能及 特点作了详细的介绍。系统充分应用1 m s 3 2 0 d m 6 “6 的视频处理优势，具有处 理速度快、板级成本较低、硬件上留有扩展接口等特点。 本系统的软件部分在d a v i n c i 技术软件框架下进行开发，该框架结构可应用 于各种类型的嵌入式操作系统中。d a v i n c i 技术软件框架对复杂性较高的算法部分 进行了模块化，大大增强了算法与应用程序的独立性，使得算法部分具有了良好 的可扩展性。基于对多种嵌入式操作系统的分析，采用m o n t a v i s t al i n u x 作为本 系统的操作系统。本文软件部分的工作为系统基础软件框架设计。本文对p a m 可插拔认证模块、m i l l i g u i 图形用户接口等作了简要的介绍，探讨了软件各个功 能模块的实现方式，最后实现了具有基本监控录像功能的系统应用程序基础软件 框架。该框架为智能判别算法模块留出了调用接口，将与智能判别算法功能相关 的软件部分模块化，使软件系统具有良好的可扩展性。 智能家庭监控系统的硬件设计正处在实现阶段，软件的基础部分已经能够正 常运行于t i 的d a v i n c i 视频开发评估板上，相关附属功能正处在完善阶段。 关键词；d a v i n c i 技术，1 m s 3 2 0 d m 6 4 4 6 ，视频监控，数字信号处理器 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fv i d e os i g n a lp r o c e s s o r , e m b e d d e dv i d e om o n i t o r i n g s y s t e mw a su s e dm o r ea n dm o r ew i d e l y , a n dt h ed e m a n df o ri n t e l l i g e n tv i d e o s u r v e i l l a n c eh a sb e c o m ei n c r e a s i n g l yh i g h a f t e rs t u d y i n gt h el a t e s td a v i n c i t e c h n o l o g yo ft e x a si n s t r u m e n t i ) ，t h i st h e s i s ，a i m i n ga tt h ef a m i l ye n v i r o n m e n t , d e s i g n s a n i n t e l l i g e n t v i d e om o n i t o r i n gs y s t e m t h et h e s i sr e l a t e dt od a v i n c i t e c h n o l o g yh a r d w a r ea r c h i t e c t u r e , s o t t w a r ea r c h i t e c t u r ea n dl i n u xa p p l i c a t i o nd e s i g n n o r m a l l y , e m b e d d e dv i d e om o n i t o r i n gs y s t e mc o n s i s to fag e n e r a lp u r p o s e e m b e d d e dp r o c e s s o ra n dad i g i t a ls i g n a lp r o c e s s o r t h ed a v i n c it e c h n o l o g yi n t e g r a t e d a na r mc o r ea n dac 6 4 x + d s pc o r ei n t oo n es i l l i e o n ；i ti m p r o v e st h es y s t e m i n t e g r a t i o n ，l o w e r st h eb o a r dl e v e lc o s ta n di m p r o v e sd u a l - c o r ec o o r d i n a t i o no p e r a t i o n e f f i c i e n c y t h i st h e s i su s e sd a v i n c it e c h n o l o g yd u a l - c o r ep r o c e s s o rt m s 3 2 0 d m 6 4 4 6 a st h em a i np r o c e s s o r ；t h eh a r d w a r es y s t e md e s i g ni n v o l v e sv i d e oi n p u ta n do u t p u t i n t e r f a c ed e s i g n ，d d r 2d y n a m i cm e m o r yi n t e r f a c ed e s i g n , f l a s hm e m o r yi n t e r f a c e d e s i g n ，a t a h a r dd i s ki n t e r f a c e , s e r i a lm e m o r yi n t e r f a c ed e s i g n ，a u d i oi n t e r f a c ed e s i g n , e t h e r n e ti n t e r f a c e , u s bi n t e r f a c e ，u a r ti n t e r f a c e , t h ee x t e r n a lc o n t r o li n t e r f a c e d e s i g na n dp o w e rs u p p l ys y s t e md e s i g n i nt h i sp a p e r , t h ev a r i o u sc o m p o n e n t so ft h e h a r d w a r es y s t e m sf u n c t i o n sa n df e a t u r e sa l ea l s oi n t r o d u c e di nd e t a i l t h es o f t w a r ei sd e v e l o p e du n d e rd a v i n e is o f t w a r ef r a m e w o r kw h i c hc a l lb e a p p l i e d t ok i n d so fe m b e d d e do p e r a t i n gs y s t e m s t h ea l g o r i t h mp a r t so fd a v i n c i s o f t w a r ef r a m e w o r ka r eh i g h l ym o d u l a r i z e d ；g r e a t l ye n h a n c e st h ei n d e p e n d e n c eo ft h e a l g o r i t h ma n da p p l i c a t i o np r o c e d u r e s t h i sp a p e ra n a l y z e st h ev a r i o u se m b e d d e d o p e r a t i n gs y s t e m ，a n df i n a l l yd e c i d e st ou s em o n t a v i s t al i n u xa so p e r a t i n gs y s t e m t h es o f t w a r es y s t e md e s i g ni n v o l v e st h eb a s i cs o f t - w a r ea r c h i t e c t u r ed e s i g n ，t h e i n t r o d u c t i o no fp a ma n dm i n i g u i , t h ed i s g u s s i o no fv a r i o u ss o f t w a r ef u n c t i o n a l m o d u l e s ，a n df i n a l l yi m p l e m e n t i n gt h eb a s i cf u n c t i o no fav i d e om o n i t o r i n gs y s t e m i t h a sl e f ias o f t w a r ei n t e r f a c ef o ra l g o r i t h mm o d u l e s ，m a k e sg o o ds y s t e mf i e x i b i l i t y , a n d m a k e st h ea l g o r i t h md e s i g na n de x p e r i m e n t a lw o r ke a s i e r k e y w o r d s ：d a v i n e it e c h n o l o g y , t m s 3 2 0 d m 6 4 4 6 ，v i d e om o n i t o r i n g ，d i g i t a ls i n g a l p r o c e s s o r , i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：倦致穆 导师签名： 日期：沙7 年月f9 日 第一章绪论 1 1 引言 第一章绪论 随着人们生活水平的不断提高，特别是物质生活水平的提高，人们越来越重 视自己的个人安全与财产安全【i j ；同时，经济的飞速发展伴随着城市流动人口的 急剧增加，给城市的社会治安增加了新的难题，要保障小区的安全，防止偷抢事 件的发生，就必须有自己的安全防范系统，人防的保安方式难以适应我们的要求， 智能化小区建设已成为当前的发展趋势；随着科学技术的不断进步，尖端科学技 术的应用也越来越普遍，国内外的先进技术，先进经验在各行各业中得到了广泛 的应用，安全防范工作也不例外。视频监控广泛应用于金融、电力、交通、公安 消防、家庭等领域。就家庭安防领域来说，随着经济的快速发展，人们生活节奏 的提高，照顾家庭的时间将越来越少，家庭内的安全防护越来越趋向于智能化。 网络通信技术及视频数据压缩技术的发展使得远程监控成为可能，图像处理技术 的发展、处理器运算能力的提高及处理器成本的降低使得智能化监控慢慢开始普 及。传统的视频监控、视频存储系统将会被基于人工智能的或具有智能分析能力 的系统取而代之。 1 2 视频监控系统简介 视频监控系统随着相关技术的不断进步与发展，经历了三个主要发展阶段【2 】： ( 1 1 模拟监控，前端采用模拟摄像头，视频通过同轴电缆进行传输，随后显 示至视频监控显示器上，同时使用磁带设备进行存储。在这一发展阶段，视频由 专人监视，在出现紧急情况时，常有反应不及时的缺点； ( 2 ) 半数字化视频监控，前端使用模拟摄像头，视频通过同轴电缆进行传输。 在监控段，视频数据已改用数字化设备，如硬盘进行存储，并且在存储数据以前 先进行压缩。但是监控视频仍然只能通过专人监视，不能对紧急情况及时反应： ( 3 ) 网络化数字视频监控，所采集的视频信号在摄像头端就已经数字化，然 后进行压缩处理，压缩过的视频数据通过网络进行传输，最后监控端将各个摄像 头的视频存储于数字化设备中。在大多数这样的监控系统中，监控端仍然只能对 电子科技大学硕十学位论文 视频做单纯的存储，只有一部分系统能对视频数据进行分析。 如图1 1 所示为几类典型的现代视频监控系统。 圈卜1 典型视频监控系统 模拟监控系统通常适合小范围区域监控，模拟摄像头的价格较为低廉。但模 拟监控系统的可扩展能力差，在需要增加监控节点时，须对监控整个系统作改动。 在数字视频监控系统中，经过前端数字摄像头的网络化以后，系统可扩充能 力得到加强。因此这种监控系统较适合大范围、多监控点的大型监控系统，但针 对于小范围的监控系统，数字化摄像头无疑增加了整个系统的成本。 1 3 课题来源及研究意义 本课题来源于电子科技大学学科建设项目“嵌入式系统硬件平台建设”，旨在 为该学科建设项目搭建软硬件开发平台，为后续研究工作奠定实验基础。 在目前新建的智能小区实现家庭自动化管理的目标下，传统监控暴露出了一 系列弊端3 1 ，为满足小区家庭数字化实时视频监控及学科建设项目的需要，提出 了本课题。本课题结合一个实际的多监控点的视频监控开发项目，利用美国德州 2 第一章绪论 仪器( t i ) 最新推出的d a v i n e i 技术，实现对视频信息的监控、图像处理、智能检测、 自动报警与软硬件技术上的系统集成，基本上克服传统监控系统存在的不足，减 轻了操作人员的负担，实现了家庭监控系统的智能化。 1 4 本文的主要工作 本文针对家庭监控系统的低成本、高智能性的需求，提出了一套适用于家庭 监控的软硬件方案，并在t i 公司的d a v i n e i 技术评估板实现了该方案的上层软件 部分。主要作了以下几方面的工作： ( 1 ) 针对家庭监控环境，使用d a v i n c i 技术的双核( a r m 核+ d s p 核) s o c 芯片 n 幢s 3 2 0 d m 6 4 4 6 作为核心处理器，设计了智能家庭监控系统的硬件系统； ( 2 1 针对l i n u x 下基于a r m + d s p 双核处理器视频应用开发的研究； ( 3 ) 针对d a v i n c i 软件体系的研究，设计并实现基于d a v i n e i 技术的视频压缩、 存储、分析的软件架构。 电子科技大学硕士学位论文 2 1 系统需求分析 第二章总体设计 本设计主要针对家庭环境进行监控。 在早期的视频监控，一般都应用在行业监控，例如银行、公安及办公楼这类 部门。针对这类部门设计的监控系统需要使用到大量的摄像头。同时，用来支撑 这一庞大摄像头系统的设备都价格不菲，专门针对家庭环境开发的监控设备很少。 随着信息技术的发展、人们居住环境的改善及经济发展带来的需求，人们对自身、 家庭的安全防范意识大大增强，家庭的防盗、监控等需求也与日俱增。 家庭环境有其特殊性。首先在成本方面，家庭视频监控系统要求成本较为低 廉，但同时还须具有一定的智能性和可靠性。其次在完成视频监控的同时，还需 具备处理其它任务的能力。由于该项目将为教研室后续的软件项目及算法研究奠 定基础硬件平台及软件框架，因此该系统在设计时，还需考虑升级成为家庭网关 或机顶盒等功能时所需的性能余量。 家庭智能监控部分需要能够在家中无人或夜间等需要监控的时段，通过多个 监控点上的摄像头对家庭实施实时的智能监控，并对出现的异常状况进行记录或 报警。针对报警状态的触发方式及报警状态触发后的处理方式应具有一定的智能 性，如只记录可疑物体的信息、去除背景、人脸自动获取、各种自定义触发等。 2 1 1 功能需求 2 1 1 1 功能划分 系统按处理任务能力的不同划分为控制功能任务及运算功能任务。控制功能 任务要求处理器能够运行嵌入式操作系统，方便程序员的后续开发升级；运算功 能任务要求处理器能够以较快的处理速度进行数字信号处理算法，运算速度的快 慢将直接影响所能算法所实现功能的复杂性。因此，系统需要一个能运行嵌入式 操作系统，并且同时具有数字信号处理优势的处理器。 控制功能任务的需求主要为四个，分别是用户接口、本地监控功能、远程实 时监控及辅助功能。 4 第二章总体最计 运算功能任务的需求主要为两个，分别是智能监控算法和实时回放算法。 通用控制功能任务与运算功能任务通过某种特定的方式通信与同步。 2 1 1 2 功能描述 通用控制功能任务的功能： ( 1 ) 用户接1 7 ：用户接口为用户提供操作监控全局、观察局部、设置系统参数 等人机交互功能，需具有友好的人机界面，方便用户操作： ( 2 ) 本地监控功能：用户可通过本地监控功能完成全局监控及观察局部，全局 与局部的切换功能在用户接口部分完成； ( 3 ) 远程实时监控功能：本功能使得用户在经过认证后，能够通过网络实时监 控单个或全部监控点的情况，图像效果视网络情况而定： ( 4 ) 辅助功能：辅助功能为主系统提供各种附加功能，如通过u s b 转存监控 录像数据、接收红外线遥控器命令等。 运算功能任务的功能： ( 1 ) 智能监控算法：本算法通过智能监控算法对监控录像的分析得出不同的报 警级别。当达报警级别上升至需要对监控录像做存储处理时，程序将调用 压缩算法对视频压缩并存储于存储器中，同时进行报警操作。本算法应尽 量模块化，须具有统一的接口，方便后续的研究试验工作； ( 2 ) 实时回放算法：本算法针对调用情况的不同，完成对单个或全部监控点的 视频回放功能。回放情况主要分以下四种： a ) 本地用户接口对全局视频回放； b ) 本地用户接口对单点视频回放； c ) 远程实时监控对全局视频回放； m 远程实时监控对单点视频回放。 2 1 2 性能需求 2 1 2 1 误报率 本监控系统主要针对家庭环境使用，系统的误报率不能过大，否则将会影响 用户的使用信心。因此系统需通过智能判别算法，尽量降低误报率。 5 电子科技大学硕士学位论文 2 1 2 2 时间特性 出现异常时刻至智能判别算法做出异常状态判断间隔时间不大于l s 。当判别 算法做出异常判断后立即触发报警状态，报警状态触发后，自动记录此事件2 分 钟，同时提升报警级别为中等级别。若在开始记录报警事件期间或记录完毕后异 常事件仍未消除，则进一步提升报警等级并触发相应报警装置，同时继续记录此 异常事件。 远程实时监控的响应时间视网络状态而定。 智能视频监控系统的运行时间为家中无人时或夜间，系统应能够自行判断当 前所处的状态。 2 2 系统选型 在有大量的数字信号处理任务( 例如需进行视频处理或音频处理) 时，嵌入式 系统应用常用的方案大致有三种： ( 1 ) r i s c 处理器+ r i s c 处理器型 r i s c 处理器+ r i s c 处理器类型视频监控系统出现在早期的低成本监控系统 中。在这种系统中，主控r i s c 处理器用来处理控制类操作，辅助r i s c 处理器用 来完成编解码运算操作。该类型监控系统的成本较为低廉，多用于对图像质量要 求不高、视频处理运算性能要求不高的系统。 ( 2 ) r i s c 处理器+ 数字信号处理器( d s p ) 型 r i s c 处理器+ d s p 类型的系统中，r i s c 处理器用来处理控制任务，d s p 用 来完成运算任务。d s p 是针对数字信号处理算法的特点，在硬件结构上优化了的 处理器，它能够保证在较低的成本下，通过软件算法完成数字信号处理功能，因 此，这种方案最大的兼顾了成本和性能。 ( 3 1r i s c 处理器+ f p g a 型 r i s c 处理器+ f p g a 类型系统是高性能系统的代表，f p g a 使用硬件单元实 现数字信号处理算法，其优点为可靠性高、延时较确定以及可并行处理等优点。 但该类型系统成本较高，多用在军事、航空航天等领域。 综合考虑需求后，本设计选用r i s c 处理器+ 数字信号处理器( d s p ) 方案，该 方案通常选用一片a r m 处理器+ 一片d s p 处理器，t l 公司在2 0 0 5 年第四季度推 出了a r m + d s p 双核处理器，t i 将两个处理器核集成在单个硅片上，因此该双核 第二章总体设计 处理器有效的降低了板级成本，提高了处理性能和可靠性。 基于该处理器，t i 推出了一系列全新技术、标准和支持服务，这一系列产品 和服务被称为d a v i n c i 技术。在综合考虑需求后，t i 公司的d a v i n d 技术成为实 现该项目的最佳方案。 家庭监控系统及家庭环境的特点大致有以下几点：成本要求较低、布控点数 较少( 一般家庭视频监控布控点数在4 个以内) 及监控范围较小等，综合考虑这一 系列特点后，在监控部分前端的摄像头选型上，本设计选用模拟摄像头作为视频 采集前端，多路监控视频电缆接多路视频选择器，通过分时选择不同的监控摄像 头传回的图像。由于监控点数较少，这样做在略为降低监控视频帧速率的条件下， 有效地降低了系统成本。 对于视频监控后端的监控录像显示部分，考虑到家庭环境中一般都有电视机 这一家用电器，为降低成本，本监控系统的后端将只提供p a l 制的视频信号输出， 不再单独配备显示装置，用户将视频信号连接至电视机上便可使用。选用这一方 案还可同后续的智能家庭网关项目和机顶盒项目统一输出接口，使得本设计的软 硬件重用性得到较大提高。 考虑到用户的使用习惯，输入控制部分需要选择用户较容易接受、易于使用 的控制方式，红外线遥控器是家庭中最常见的用户基本输入设备，也是最容易使 用的输入设备。因此，本设计选用红外线遥控器作为系统的输入设备。 2 3d a y i n o i 技术简介 2 3 1i ) a v i n c i 技术的背景 近年来，数字视频技术无疑将重塑整个电子行业的面貌【4 l 。数字视频技术也 正在使我们的视频传输以及交互方式发生着深刻的变化，其已开始进入的汽车、 计算机、移动电话及网络，嵌入式视频应用领域发展迅猛，视频产品的类型多样 化，并逐步由标清向高清过渡，这都需要视频处理芯片一方面具备更强的运算能 力，另一方面能进行灵活的系统整合，快速地进行产品开发。 目前，在嵌入式视频应用领域，包括机项盒、多媒体网关、可视电话、便携 式媒体播放器、视频监控系统等应用中的处理芯片主要有d s p 、f p g a 、a s i c 以 及a r m 等方式【5 】。在不同的应用场合下，这些处理芯片都各有优势和局限性。 过去，在实旅数字视频时选择非常有限，硬连线以及基于a s i c 的方案限制了器 7 电子科技大学硕士学位论文 件的用途及功能以及自适应性。虽然专用器件的灵活性稍高于a s i c ，但是面对 日新月异的多媒体标准与应用，它们的效用仍然非常有限，而且缺少具有足够性 能、成本足够低、灵活性足够高的数字视频开发平台。在嵌入式视频应用发展中 期，通常以d s p 作为处理核心，以其强大的运算能力和灵活的可编程性占据了主 导的地位，直到现在d s p 在功耗、灵活性以及运算能力上都可满足主流视频应用 的功能需要，但是d s p 的操作系统功能简单，应用在比较复杂的视频应用时， 控制功能略显不足；而f p g a 凭借强大并行处理能力、可定制流水线结构和多路 硬件并行处理能力，非常适合视频算法的实现，当前很多f p g a 厂商都推出了大 分辨率的视频应用解决方案，但因功耗、体积和成本的限制无法广泛应用于消费 电子领域：a s i c 由于其编解码效果和灵活性都存在一定的缺陷，无法适应日新 月异的编码标准而限制了其使用范围；另外在嵌入式通用处理器的运算能力逐步 提高之后，也有a r m 、m i p s 、p o w e r p c 等嵌入式通用处理器被用于视频应用， 由于大多数通用处理器上能运行实时操作系统，因此很适合于需要复杂控制功能 的场合。当然通用处理器的计算能力有限，现在大多数还是应用于较小尺寸的视 频应用中。 从上面分析可以看出，现在嵌入式视频应用领域对处理芯片的要求主要有： ( 1 ) 足够的运算能力，能实现大尺寸视频或多路视频的编解码运算； ( 2 ) 需要具备强大的控制功能，内核结构适合现代嵌入式操作系统的运行， 使得产品能够更广泛的使用； ( 3 ) 足够的灵活性和易用性，能够满足日新月异的编码器变化要求，能够满 足较短的应用开发周期要求，使得产品能够更快地推向市场； h 1 较低的系统成本和功耗，使得产品在市场上具有足够的竞争力。 结合以上几点，德州仪器( t i ) 公司推出了达芬奇( d a v i n e i ) 技术及其产品，试图 给出一个满足当前视频应用多方面要求的解决方案。该方案包括两个基于数字信 号处理器( d s p ) 的片上系统( s o c ) p a 及多媒体编解码器、应用编程接1 ：3 ( a p i ) 框架与 开发工具等。其片上系统独特的d s p 和a r m 双核结构不仅能同时满足视频应用 在运算能力和控制功能上的要求，而且大大简化了系统设计的复杂性。这些集成 型组件是业界最早推出的、完整的开放式平台产品。对采用d a v i n e i 技术的产品 而言，为应用添加视频功能变得像a p i 编程一样简单，不仅可为o e m 厂商节约 数月的开发时间，而且还能大幅降低整体系统成本。 第二章总体设计 2 3 2d a y i i l c i 技术概述 2 3 2 1 什么是d a y i l 3 0 ；技术 d a v i n e i 技术是根据多媒体应用的各种需要，将一系列全新技术和服务整合在 一起，其中包括了软件上的新型架构、操作系统及之上的驱动程序、硬件上的增 强指令集、协处理器，以及开发工具和配套的技术支持等t 6 ，从而形成一套完整 易用的多媒体应用开发解决方案，特别是针对视频应用的开发。d a v i n e i 技术所包 含的内容如图2 - 1 所示。 图2 1 d a v i n e i 技术 视频编解码速度问题已成为嵌入式视频应用向高清分辨率发展的重要瓶颈。 在市场上的m p e g - 4 和h 2 6 4 的产品中，大多数最高能支持d 1 分辨率的实时视 频编解码。而针对7 2 0 线以上分辨率的方案则非常少见。为此，d a v i n c i 技术在提 高芯片的视频运算能力上引入了新的技术，d s p 的视频运算能力得到大幅提升。 在机顶盒、可视电话、便携式媒体播放器的设计中，需要开发平台能够开发 出支持完善的图形化用户界面、网络传输、多线程任务调配等控制功能的产品， 原本d s p 平台上的简单操作系统( 如t i 公司的d s p b i o s ) 难以胜任这样复杂的控 制任务，而d a v i n c i 技术的双核结构中引入了a r m9 2 6 e j - s 处理器、相应配套的 操作系统、相关驱动程序以及软件方面的a p i 参考架构，在很大程度上解决了这 一问题。 d a v i n e i 技术的全部内容涉及硬件的片上系统( s o c ) 芯片、软件的a p i 参考框 架( x d m 标准) 、运行于a r m9 2 6 e j s 子系统上的m o n t a v i s t al i n u x2 6 1 0 操作系 统、l i n u x 操作系统上的硬件驱动程序、l i n u x 操作系统上a r m d s p 通信驱动程 序。l i n u x 与相应驱动能最大程度保证系统设计中对外设操作的灵活性，而且 9 电子科技大学硕士学位论文 l i n u x 对多线程的良好支持也为图形化用户界面、o s d 控制等更为复杂的控制功 能的实现提供了基本保证。针对a r m 与d s p 的双核结构，t i 设计了两个处理核 之间通信接口的解决方案，保证两个处理器的协同工作。在保持d s p 强大计算能 力的基础上，使得芯片能够适应更多应用场合的需要。 2 3 2 2d a y j f i g i 技术的优势 d a v i n c i 技术利用数字信号处理与集成电路专业技术来提供高度集成的s o c ， 集成了可编程数字信号处理器c 6 4 x + d s p 内核、a r m9 2 6 e j - s 处理器内核、视频 加速协处理器、存储器、i o 、平衡的内部互连以及专用外设组合，硬件材料成本 降低了5 0 ，使得构建更为廉价的多媒体处理系统成为可能。 在多处理器项目开发之初，软件与硬件开发人员需要磨合，不同处理器的软 件开发人员同样需要磨合。为了让开发人员克服最初的障碍，并加快产品上市进 程，完整的d a v i n c i 软件架构涵盖底层的操作系统驱动程序乃至应用程序a p i ， 使开发人员无需投入过多力量编写及优化编解码器或进行d s p 编程，即能够实 现数字视频功能，从而使开发人员能够将精力集中到开发可最大化附加值的产品 上来。例如在过去开发电子器件时，即使是最基本的功能，也需要进行栅极布局； 而现在不再需要了解其视频应用中实施具体c o d e c 引擎f 如m p e g - 4 、h 2 6 4 、 w m a 9 ) 的细节，利用允许开发人员无需修改上层应用代码即可以使用理想 c o d e c 的a p i ，可以显著简化视频c o d e c 处理的具体低层次细节，使开发人员 可以专注于开发产品的功能性部分。 通过提供可随时投产的软件，如硬件驱动器、汇编级别优化的c o d e c 以及 用于管理网络中音频视频同步和数据流的应用代码的整体组合，d a v i n c i 技术使 开发人员无需了解如何编程d s p 即可实现一流的视频功能。 数字视频系统的复杂性主要归因于开发人员必须创建和管理的众多组件。 d a v i n e i 技术通过提供开放式平台来降低系统复杂性。在该平台之上，t i 及其第 三方合作伙伴已经开发和集成了构成数字视频系统所需要的各种组件。 d a v i n c i 技术提供的开放式开发平台同时也扩展到了应用程序。d a v i n c i 软件 初始将支持l i n u x ，将来会陆续支持其它操作系统。l i n u x 支持的内容包括外设驱 动器、实时应用管理、应用级a p i 以及可随时投产的代码。 综上所述，d a v i n c i 技术作为针对数字视频应用推出的一系列软硬件技术的集 合，极大地丰富了处理器的功能，增强了处理器的运算能力，并以合理的软硬件 结构缩短数字视频产品的- 丌发周期。 i o 第二章总体设计 2 4 系统总体设计 d a v i n e i 技术的双核处理器共有两个，分别为1 m s 3 2 0 d m 6 4 4 6 和 t m s 3 2 0 d m 6 4 4 3 。两者的区别在于，1 m s 3 2 0 d m 6 4 4 3 未包含视频协处理器及视 频处理子系统中的前端系统，该处理器多用于解码任务。本设计使用 t m s 3 2 0 d m 6 4 4 6 作为中央处理器，系统结构框图如图2 - 6 所示。 臻 _ 电子科技火学硕士学位论文 毫为b 1 2 团圆圃麓 ：l互昂oojmnt 匝-6勇；漤坌吉蕊蒿匦 j 飞、回 b ，、 ， tsrele 净 菲7 第二章总体设计 ( 1 ) 视频前端设计 智能监控系统开启时，前端摄像头采集的监控视频通过同轴电缆传输至系统 主板，四个摄像头的复合视频信号( c o m p o s i t e “d c 0 ) 可通过多路视频信号复用器 ( v i d e om u x ) 件输入至视频解码芯片，或者直接输入至集成有多路复用功能的视频 解码芯片。视频解码芯片将解码后的视频数据输入至t m s 3 2 0 d m 6 4 4 6 的视频端 口。t m s 3 2 0 d m 6 4 4 6 通过1 2 c 控制视频解码芯片选择不同摄像头的视频图像。 通过分时采集的方法采集视频数据会丢失掉一些帧，但使用这种方法可以有 效降低硬件需求，减少硬件成本，同时也降低了功耗。四路视频的分时采集得到 的视频数据完全能够满足针对家庭环境下的视频监控系统的性能需求。因此在综 合考虑成本、性能等决定性因素后，决定采用分时采集视频的方案。 ( 2 ) 视频后端设计 系统可使用复合视频接口或s v i d e o 接口作为显示输出，用户监控、配置及 管理等操作的界面图像显示均通过该接口输出，用户在使用时可将电视机与系统 的视频输出接口相连接。t m s 3 2 0 d m 6 4 4 6 内部集成了视频编码器( v i d e oc o d e * ) 及 d a c ，因此外部不再需要外接视频编码功能的器件。 ( 3 1 存储器设计 为满足视频应用高带宽的需求，系统使用d d r 24 0 0s d r a m 作为系统的内 存。d d r 2 的内存控制器的理论带宽高达1 2 9 6 m b y t e s ，t m s 3 2 0 d m 6 4 4 6 内各个 部件通过中央交换网络访问d d r 2 内存控制器，这样使得外部的d d r 2 总线访问 效率非常高，t i 官方测试的峰值实际利用率达到了9 5 ( 即1 2 4 0 m b y t e s ) ，因此 d d r 2 内存完全能够满足a r m 端与d s p 端同时访问内存的带宽需求。 非易失性存储器选择嵌入式系统常用的n o rf l a s h 存储器，其通用的总线访 问方式使得t m $ 3 2 0 d m 6 4 4 6 可以从n o r f l a s h 上直接启动。 在报警视频存储器的选择上，本设计为用户提供三种存储器选择，分别为a t a 硬盘、c f f l a s h 卡与s d 存储卡。随着f l a s h r o m 存储器容量的快速发展，c f f l a s h 卡与s d 存储卡的容量都超过了1 g b ”e ，并且价格相当低廉。监控视频数据只有 在智能检测算法判定为异常时才开始将视频数据存储至固态存储设备上，因此使 用c ff l a s h 卡和s d 存储卡作为报警视频存储器基本能够满足中低端用户存储视 频数据的需求。针对高端用户，则可以选择大存储容量的a t a 硬盘作为报警视频 存储器。用户可以根据成本及自身需求选择不同类型的存储器。 ( 4 ) 用户接口设计 电子科技火学硕士学位论文 为保证处理器的高效能、低功耗运转，系统使用一片低功耗单片机完成红外 线接口及预留一些控制功能引脚。单片机采用中断方式与1 m s 3 2 0 d m 6 4 4 6 进行 同步，在单片机接收到用户红外线遥控器的交互信息后，向1 m s 3 2 0 d m 6 4 4 6 发 出中断信号，该中断信号可以唤醒1 m s 3 2 0 d m 6 4 4 6 或中断正在运行中的任务， 随后驱动程序将通过f c 总线读取单片机接收到的用户控制命令。使得 1 m s 3 2 0 d m 6 4 4 6 可以高效的完成其主要任务或进入睡眠状态，而无须定期查询端 口状态，判断是否有用户的控制命令输入。 ( 5 ) 网络功能设计 系统提供网络功能，1 m s 3 2 0 d m 6 4 4 6 内部已经集成以太网多媒体访问控制器 ( e m a c ) ，直接在外部连接以太网物理层传输器( p h yt r a n s c e i v e r ) 便可为用户提供 以太网接口。 为方便用户访问视频监控系统，本系统将提供无线及有线实时视频访问功能。 用户可以通过3 g 网路、i n t e m e t 网络及局域网等方式访问本地视频监控录像，应 用程序将针对不同的访问方式为用户提供不同带宽需求的视频流。3 g 网路及 i n t e r n e t 网络访问功能可能需要网路服务器的支持才能完成。 ( 6 ) 报警方式设计 由于系统为智能家庭监控系统原型机，因此在报警方式上只提供声音报警功 能。使用t m s 3 2 0 d m 6 4 4 6 的串行音频接1 3 ( a u d i os e r i a lp r o t ，a s p ) 连接音频编码 器( a u d i oc o d e c ) ，在实现报警功能的同时还可以提供播放其它类型的声音，提高 了用户体验水平。 ( 7 ) 软件可扩展性设计 本设计需要为后续研究型任务提供支持平台，软件的设计方式上需考虑方便 研究人员插入自己的实验性代码。因此，需要将智能判别算法作为单独的可插入 性模块，为其预留调用接口。工程人员可以先将整个智能家庭监控系统的主框架 构建起来，研究人员按照预先设计的标准接口将设计出实验性算法进行封装，然 后插入软件框架中便可进行实验工作。 1 4 第三章硬件系统设计 第三章硬件系统设计 3 1t m s 3 2 0 d m 6 4 4 6 简介 1 m s 3 2 0 d m 6 4 4 6 是t i 公司于0 5 年第四季度推出的高集成度视频处理应用 d s p 芯片。该芯片为3 6 1 脚b g a 封装。n 4 s 3 2 0 d m 6 4 4 6 包括一个a r m 子系统、 一个d s p 子系统和一个视频处理子系统( v p s s ) ，同时还带有图像协处理器( v i c p ) 和各种丰富的外设，其功能结构框图如图3 一l 所示。 图3 - 1t m s 3 2 0 d m 6 4 4 6 结构框图 a r m 采用a r m 9 2 6 e j s “内核，最高主频为2 9 7 m h z ；d s p 采用c 6 4 x + t m 核，最高主频为5 9 4 m h z ，d s p 每秒执行的指令数可达到4 7 5 2 m 1 p s ；视频处理子 系统包括视频前端( v p f e ) 和视频后端( v p b e ) ，支持图像缩放、自动聚焦曝光白 平衡、c f a 插值、隔行逐行转换、画中画、o s d 数据混合等一系列图像处理功能； 1 5 电子科技大学硕+ 学位论文 外设包括d d r 2 控制器、a t a 硬盘控制器、u s b 2 0 接口和v l y n q 接口等。 1 m s 3 2 0 d m 6 4 4 6 与a r m 9 t m 和c 6 4 x 软件代码兼容且a r m 和d s p 全部采用固定 的小端模式。 t m s 3 2 0 d m 6 4 4 6 基于达芬奇技术，它专为数字视频应用设计，具有专用集成 芯片专用性的一面。同时a r m 和d s p 的内核架构许多地方都是用户可编程的， 又具备类似于f p g a 等可编程器件的灵活性的一面。 3 1 1c 6 4 x + d s p 子系统 3 ，1 1 1c 6 4 x + d s p 子系统的主要特点 d s p 子系统使用c 6 4 x + d s p 内核。该内核针对高分泱率视频编解码算法进行 了很多方面的优化。c 6 4 x + d s p 内核构建在v e l o c i t l 2 体系结构的基础上，是 v e l o c i t l 2 体系结构的进一步增强，以其c 6 4 x + 内核的先进超长指令字f v l r w ) 结构，获得当前应用设备所需要的高性能1 7 1 。图3 2 所示为d a v i n c i 技术的d s p 子系统结构框图。 圈3 - 2 d s p 子系统结构图 1 6 第二章硬件系统设计 d s p 结构上的特点有以下几点： ( 1 ) c 6 4 x 片内有2 个数据通道、8 个功能单元和2 个一般目的寄存器文件 ( r e g i s t e rf i l ea 和r e g i s t e r f i l eb ) ； ( 2 ) c 6 4 x d s p 采用超长指令字( v l i w ) ，即在每个时钟周期最高可提供8 条3 2 位指令，总字长为2 5 6 位的指令包同时分配到8 个并行处理单元。在5 9 4 m h z 的 时钟频率下，当片内8 个处理单元同时运行时，其最大处理能力可以达到 4 8 0 0 m i p s ： ( 3 ) c 6 4 x + d s p 有6 4 个3 2 位通用寄存器和8 个独立的功能单元( 2 个乘法器 和6 个算术逻辑单元) 。c 6 4 x + d s p 具有双1 6 b i t 扩充功能，芯片能在一个周期内 完成双1 6 位的乘法、加减法、比较移位等操作。c 6