（电路与系统专业论文）基于dsp的嵌入式机器视觉模块设计及系统组建.pdf

上海大学硕士学位论文 摘要 任何一个机器视觉系统中，图像采集部分是系统能够从信息源获取图像序 列必不可少的关键组件。图像采集系统提供越高的清晰度，就能获取更精确的 图像空间细节；越高的采集速率，就能获取越多的图像时变信息。因此，对于 一个运动捕捉系统来说，兼顾目标图像的清晰度以及采集速度是必不可少的。 本课题的目标是设计一个兼顾分辩率和采集速度的高性能运动捕捉系统 单元。该设计基于有源像素c m o s 图像传感器和t m s 3 2 0 d m 6 4 2 多媒体d s p 的通用图像采集硬件平台，综合考虑了图像传感器的性能、系统运算能力以及 数据链路的带宽、存储器的容量和读写速度等因素，同时考虑到可以方便地应 用于多视觉传感系统。 本文在软件设计方面，通过结合和改进运动检测算法和彩色目标跟踪算法 c a m s h i f t ，系统可以自动搜索和捕获有用目标。并且在算法的控制下，充分 利用有源像素c m o s 图像传感器的器件特性灵活改变采集方式，在捕捉跟踪 状态和目标抓拍时分别采取相应的采集方式以实现整个采集系统对采集速度 和清晰度的共同要求。该方案可以在不提高硬件配置的情况下提升采集系统整 体性能，或者实现常规方案低性能硬件不能达到的性能指标。 该运动检测系统是一个软硬件密切结合的系统。主要创新点在于，实现了 一个通用的机器视觉采集平台，可以随时切换到各种分辨率和采集速度的工作 模式，比普通系统更灵活地适用于各种复杂应用场合；巧妙结合并改进运动检 测算法和c a m s h i f t 跟踪算法，实现全自动、多目标跟踪，解决了跟踪算法 只能半自动运行的问题；灵活地利用有源像素c m o s 图像传感器的器件特性， 动态调整采集清晰度和速度，在同等硬件参数下，能较普通系统获得更高的采 集速度和目标图像清晰度，同时还能降低整个数据流量和运算量，提升整体系 统的性能。 此系统可以广泛地应用在监控、智能交通、人脸识别、医疗诊断、工业自 动化检测等领域。经过进一步对网络系统的设计，不仅可以单独作为一个监控 单元，也可以方便扩展到多机联网的应用。 关键词：机器视觉，图像采集，有源像素c m o s 图像传感器，d s p ，c a m s h i f t v 上海大学硕士学位论文 a b s t r a c t i m a g ec a p t u r ep a r ti st h em o s ti m p o r t a n tm o d u l et h a tc a n n o tb el o s tf o ra n y m a c h i n ev i s i o ns y s t e mt og e ti m a g es e q u e n c e 舶mi n f o r m a t i o ns o u r c e t h el a r g e r r e s o l u t i o ni m a g ec a p t u r es y s t e mo f f e r e d ，t h em o r es p a c ed e t a i lw ec a ng e tf r o mi t ； t h ef a s t e rt h ec a p t u r er a t ei s ，t h em o r et i m i n gi n f o r m a t i o nm a yb eo w n e d i nt h i sw a y , t h er e s o l u t i o no ft h em o t i o nt a r g e ta n ds p e e do fi m a g ec a p t u r ea r eb o t hr e q u i r e dt oa m o t i o nc a p t u r es y s t e m t 1 1 i sd e s i g na i m st oah i g hp e r f o r m a n c em o t i o nc a p t u r es y s t e mt h a tc a nb a l a l l c e b o t ht h ei m a g er e s o l u t i o na n dc a p t u r es p e e d s u c hs y s t e mi sb a s e do nag e n e r a l i m a g ec a p t u r eh a r d w a r es y s t e mp l a t f o r mu s i n ga c t i v e p i x e lc m o si m a g e s e n s o ra n d t m s 3 2 0 d m 6 4 2m u l t i m e d i ad s p , w h i l ew ec o n s i d e rs y n t h e t i c a l l ya b o u ti m a g e s e n s o r sp e r f o r m a n c e ，c a l c u l a t i o na b i l i t yo fs y s t e m ，b a n d w i d t ho fd a t al i n ka n d m e m o r y sc a p a c i t ya n di 0s p e e d ，e t c ，a n dt h ee a s ya c h i e v e m e n to fm u l t iv i s o n s e n s o rs y s t e ma r r a ya sw e l l a ss o f t w a r ed e s i g na s p a c t ，t h es y s t e mc a ns e a r c ha n dc a p t u r ew a n t e dt a r g e t a u t o m a t i c a l l yb yc o m b i n i n ga n di m p r o v i n gt h em o t i o nd e t e c t i o na l g o r i t h ma n d c o l o r e do b j e c tt r a c ea l g o r i t h m c a m s h i f t u n d e rt h ec o n t r o lo ft h e s ea l g o r i t h m s ， w et a k eaf h l lu s eo fa c t i v e p i x e lc m o si m a g es e n s o r sh a r d w a r ef e a t u r et os w i t c h i t sd i f f e r e n tc a p t u r em o d ef l e x i b l yf o rd e t e c t i o n t r a c es t a t u so rt a r g e ti m a g es n a p s t a t u s ，w h i c hh e l p st h ew h o l es y s t e mt os a t i s f yt h er e q u i r e m e n t so fb o t hf a s t e r c a p t u r er a t ea n dh i 曲r e s o l u t i o n t l l i sm e t h o dc a l li m p r o v es y s t e m sc a p t u r e p e r f o r m a n c e w i t h o u t u s i n g b e t t e rh a r d w a r e ，o rr e a l i z eh i g h e rp e r f o r m a n c e r e q u i r e m e n tu s i n gc o m m o nc h i p st h a tn o r m a lm e t h o dc a n n o t h a r d w a r ea n ds o f t w a r ea r eh i g h l yc o m b i n e di nt h i sm o t i o nc a p t u r es y s t e m i t s m a i ni n n o v a t i o ni s ：ag e n e r a li m a g ec a p t u r es y s t e mf o rm a c h i n ev i s i o ni so f f e r e d ， w h i c hc a ns w i t c ht ov a r i o u sr e s o l u t i o na n dc a p t u r er a t ea ta n yt i m e s u c hf e a t u r ec a n h a v ei ts u i tm a n yc o m p l e xs i t u a t i o nf l e x i b l e y ；a u t o m a t i ca n dm u l t i o b j e c tt r a c i n gi s a c h i e v e db yc o m b i n i n gm o t i o nd e t e c t i o na l g o r i t h ma n dc m a s h i f tt r a c i n g a l g o r i t h m ,s o l v i n g t h e p r o b l e m t h a t t r a c i n ga l g o r i t h m c a n o n l y n l n h a l f - a u t o m a t i c a l l y ；m o t i o nc a p t u r ep e r f o r m a n c ew i t hr e s o l u t i o na n dc a p t u r es p e e d c a nb ea d j u s t e dd y m a t i c a l l yb yf l e x i b l yt a k i n ga d v a n t a g eo fa c t i v e p i x e lc m o s i m a g es e i i s o r sh a r d w a r ef e a t u r e ，a n dt h i sh e l p st og e tl a g e rr e s o l u t i o na n df a s t e r c a p t u r es p e e dt h a nn o r m a ls y s t e mw i t ht h es a m ep e r f o r m a n c eh a r d w a r e ，w h i l et h e d a t ar a t ea n dq u a n t i t yo fc o m p u t i n gi sd o w na sw e l l t 1 1 es y s t e mg a l lb eu s e di nw i d ef i e l d s ，l i k em o n i t o r i n ge q u i p m e n t ，i n t e l l i g e n t t r a n s p o r t a t i o n , f a c er e c o g n i t i o n ，m e d i c a ld i a g n o s t i c s a n d i n d u s t r ya u t o m a t i c d e t e c t i o n b yf u r t h e rd e s i g no nn e t w o r kp a r t ，t h i ss y s t e mc a l ln o to n l yw o r ks i n # e l y , b u tc a na c h i e v eam u l t i d e v i c e sn e t w o r ke x t e n d l y k e y w o r d s ：m a c h i n ev i s i o n , i m a g ec a p t u r e ，a c t i v e p i x e lc m o si m a g es e n s o r , d s p , c a m s h i f t v i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工 作。除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已发表或撰写过的研究成果。参与同一工作的其他同志对本研 究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 签名： 本论文使用授权说明 e t 期：互坦，p 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅； 学校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名： 砗 上海大学硕士学位论文 1 1 课题来源 第一章绪论 本课题来源于上海市科委重点项目“基于嵌入式智能机器视觉的多媒体展 示系统 ( n o 0 5 5 1 1 5 0 1 6 ) 中3 d 立体机器视觉系统的视频采集组系统。 1 2 课题研究的目的和意义 视觉是人类获取自然界信息最重要的能力之一，视觉化的人工智能系统以 更接近于人类认识自然空间的方式来获取各种信息，不仅具有更广泛的适用性， 还能够获取更多更复杂的空间信息。 信号处理理论和计算机技术的发展，使人们能够将摄像机获取的环境图像 转换为数字信号，并通过计算机实现对视觉信息的处理，形成计算机视觉这门 学科。机器视觉将计算机视觉的理论工程化、技术化，利用数字图像处理技术 来感知现实环境中物体的形状、位置、姿态、运动等信息，用于替代人工操作 或者完成人眼所不能胜任的工作。在先进工业领域中，视觉化的人工智能系统 已开始逐步取代传统的专用传感器系统，并且在很多新的应用领域起到无可替 代的作用。 但是，机器视觉需要实时地大量调用图像算法，对运算能力有很高的要求， 因此机器视觉实现与否，很大程度上取决于计算性能。超大规模集成电路和 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 数字信号处理器的发展为高速地进行信号处理和 满足实时性提供了可能。作为计算机技术的一个分支，d s p 具有丰富的运算单 元、复杂的超长指令集，既有通用c p u 灵活的程序执行能力，也有专用集成电 路的高效运算功能，在各类数字信号处理中得以广泛使用。 所有这些技术的融合，使得机器视觉技术广泛运用于科学研究、工农业生 产、资源的遥感探测、医疗卫生、空间探索等各个领域。随着应用的日趋广泛 和复杂，人们对于系统性能的要求越来越高，这对传感器、处理器、处理方法 上海大学硕士学位论文 等系统要素都提出了新的挑战。然而，技术的发展尤其硬件的发展，受到材料、 加工工艺以及物理条件的制约，滞后于实际需求，因此如何在现有系统的硬件 基础上通过某种方法提高工作性能，便具有现实意义。 在这个课题中，我们以t i 公司出品的多媒体处理器t m s 3 2 0 d m 6 4 2d s p 1 】【2 】 作为处理核心，构建了一个数字图像采集显示和处理的硬件平台；在这个平台 上，我们选取m i c r o n 公司的m t 9 t 0 0 1 捌这款3 0 0 万像素的c m o s 面阵彩色图 像传感器作为视频信息的采集元件，与d s p 共同组成了一个完整的机器视觉硬 件系统。我们将这个系统应用于运动目标的智能跟踪和抓拍，通过一系列的色 彩处理、运动检测和物体跟踪算法的组合，完成了对目标物体的自动检测和跟 踪。另一方面，为了提高整体系统对高速目标的跟踪性能，同时也要能抓拍得 到目标的高清晰图片，我们充分利用了c m o s 有源像素( a p s c m o s ) 图像传 感器的硬件特性，结合实时操作系统的控制，最终实现了系统整体性能上的优 化。同时，把网络接口作为系统的标准配置，使系统具备传输数据和组网工作 的能力。 该课题的研究，不仅是设计和实现了一个机器视觉系统的通用应用平台， 也包含了对视觉系统或者目标的跟踪和捕捉算法和方法应用提出的一些新颖的 想法，更重要的意义在于，在应用层面提出了根据现有设备条件，以一个并不 复杂的软硬件结合方法来进一步地挖掘和改进视觉系统的性能和应用潜力。 这个系统具有很高的实用价值。如在大多数现有应用中替换本系统，则能 有效地提高系统本身的性能兼容范围。例如在交通监控中，此系统可以检测画 面中经过的更高速车辆、或者捕获到更清晰的牌照图片。而同时，使得录像硬 盘可以保存更长时间的监控视频。另一方面，系统利于网络的构建，且本身具 有视频处理的能力。因此通过定制，可以在诸如流水线检测等很多工业机器视 觉领域中获得具体的应用。 1 3 国内外研究概况 目前，对机器视觉的先进研究主要关注于算法研究和半导体传感器技术的 研究等方面，对于传感器的灵活应用和系统软硬件结合应用的研究并不多见。 2 上海大学硕士学位论文 就本文对于a p s c m o s 图像传感器在智能跟踪和捕捉方面应用的研究，目前还 没有相关的资料可供参考。 不过，在目标跟踪算法的研究领域，国内外都可找到不少的著作，国内相 关论文对国外提出的算法做了些研究和应用，提出了些改进意见，但总体上深 入的研究还是比较少的。 1 4 论文的主要研究内容 本论文以结合t m s 3 2 0 d m 6 4 2d s p 与a p s c m o s 图像传感器的视频采集 处理系统为主要研究对象，构建嵌入式机器视觉平台，完成视频的采集显示、 实现了数字摄像机的基本功能，给出一个完整的硬件解决方案。在软件层面， 完成目标跟踪算法的d s p 实现，结合实时操作系统和其他辅助算法，解决了原 始目标跟踪算法的缺陷，并针对d s p 结构对代码进行了一定的优化，使其基本 满足实时性要求。在整体性能设计中，有效地将硬件系统的特点配合软件控制， 实现了既高速又高清的性能需求。 本论文以作者攻读硕士学位期间承担的课题工作为基础，在第一章中阐述 了课题研究的来源、目的、意义以及国内外研究的现状。由于本文所提出的系 统是一个软硬件密切结合的系统，因此第二章将对整体系统的设计理念和思路 做全局性阐述，使读者能够理解完整的系统框架和概念，以便更好地理解第三 章和第四章对硬件系统和软件系统的具体设计方法。最后，第五章总结全文， 并且提出了未来研究工作可以继续挖掘的重点和目标。 3 上海大学硕士学位论文 第二章系统整体设计方案 2 1 普通系统结构的缺陷 如图2 1 ，一个3 d 机器视觉系统，需要多个摄像系统散布在三维空间中对 目标物体进行全方位的拍摄。然后以各个摄像机之间的三维空间标定参数来确 定拍摄物体的三维空间信息。这样的处理过程需要使所有摄像系统同步采集图 像，并且将采集到的数据传输给主机进行综合处理。为了使得图像处理获得更 好的精度或者更多的细节，我们要求摄像系统尽可能地提高采集图像的分辨率。 同时，为了确保系统对运动问题的拍摄和处理能力，应当尽可能地提高采集系 统的图像采集速率以适应目标的快速运动。 图2 13 d 立体视觉系统的结构 一般的系统结构直接将摄像系统捕获的视频数据通过专用数据网络传输到 主机上。使用主机对每一个摄像单元的视频数据进行处理和整合，然后做出相 应的处理对策。由于视频系统数据量巨大，这样的系统结构往往会遇到以下一 些瓶颈： 数据链路带宽瓶颈。以8 位精度、v g a 分辨率、3 0 f p s 的灰度非压缩 4 上海大学硕士学位论文 视频计算，一路就需要高达6 4 0 4 8 0 3 0 x 8 = 7 0 3 1 2 5 m b p s 的链路带 宽。假设如图2 1 有6 个摄像系统，或对于更高采集速度和分辨率的系 统单元，就需要c a m l i n k 或者光纤网络等专用链路。 主机处理能力瓶颈。主机将其计算能力平均分配给每一路视频，而当 系统接入的视频源过多时，主机就很难使得每路的数据能在规定时间 内处理完毕。 拓展到一般的监控系统，问题也是如此。如果还需要存储采集到的图像数 据，还会引发第三个瓶颈。 存储器容量瓶颈。还以8 位精度、v g a 分辨率、3 0 f p s 的灰度非压缩 视频为例计算，每一分钟就需要6 0 x7 0 31 2 5 m b = 4 1 2 g b 的空间。6 个摄像机一分钟就需要1 0 g 以上的存储容量。 为了解决这些问题，一般采取如下的应对措施： 降低分辨率、降低采集数率来减少信源的数据量和数据率； 在视频采集端压缩视频，来减少信道数据率和存储数据量； 使用昂贵的高速数据链路，或者使用链路集束来提高信道带宽和容量； 使用高性能主机或者主机阵列来提高数据处理能力； 对要存储的视频进行时域、空域减抽样，以减少存储的数据量。 但是，无论采取上述哪种解决方法，都是以整个系统中牺牲某种性能为基 础的： 以图像质量的降低为代价将使得图像最终模糊不清，可能无法足以是 系统做出正确的技术评判；或者导致对监控的某些性能需要的限制， 比如无法检测到高速移动的物体。而对存储视频的减抽样将更加加剧 回放视频的质量损失。 对高速链路或者链路集束的使用、视频压缩解压缩功能的提供、主机 计算能力的提高都将大大提高系统成本。 我们所要设计的系统必须要克服以上这些缺点，使得摄像系统获取的数据 满足对高速、高清、低流量的性能要求，而成本也是可接受的。 因此，这个系统的设计需要满足如下条件： 5 上海大学硕士学位论文 尽可能地减少数据传输量，提高有用信息率； 采集速度应尽可能得快，以满足高速物体的捕捉； 抓拍的目标图像必须足够清晰； 能够捕捉和跟踪多个目标； 具有联机工作的能力。 2 2 系统的设计方案 、2 1 1 信息冗余度的降低 机器视觉系统中，我们最终关心和处理的是图像中某些特定的目标区域。 也就是说，除了这些特定区域以外，其他所有图像信息都是冗余的，对分析特 定目标的特征没有帮助。如果我们可以在图像采集系统中就将这部分冗余数据 去除，只传输有用部分，那就可以节省很多的数据链路带宽。同时主机也因为 提取目标区域的运算负担被分摊到摄像系统上去而可以承担更多来源的、内容 更丰富的信息处理工作。一般图像采集系统本身就会具有一定的处理能力，：并 且图像采集系统的主要器件成本在于传感器和镜头，因而对于成本的提升相当 有限。 d s p 系统是这个处理单元的理想平台。d s p 可以简单地嵌入到摄像系统中 去，既可以作为传感器和其他通信设备及外设的控制器，也可以直接对采集数 据进行数字图像( 预) 处理。我们采用的t i 公司多媒体d s p 处理器 t m s 3 2 4 0 d m 6 4 2 本身就专为视频系统设计，拥有适合视频处理的指令集，集成 了包括视频端口在内的丰富i o 接口，可以很容易地接入各种类型的图像传感 器或视频转换芯片，片上以太网接口十分利于数据传输和联网工作，而其本身 的价格又很低廉。 2 1 2 采集分辨率和速率的兼顾 为了减少信息冗余度，我们需要从图像序列中检测出有用目标，然后从背 景中提取目标区域的图像，为下一步的识别处理建立基础。整个过程中，我们 6 t 簿大学十学位* z 将面对图像分辨率和采集速率之斟的矛盾。一般的处理方法，见图22 ，以个 固定的速率采集图像序列，然后从序列中的某一幅图像局部保存某片有用的数 据区域。这种方法获取的目标区域清晰度和整幅采集图像是一样的，采集速度 取决于整幅图像的读取速度，一般于清晰度( 单位面积像素点的数目) 呈反比。 因此，受图像传感器的限制，图像序列在较高清晰度的状态下很难获得很高的 采集速率。只有更换高性能的传感器，才能同时满足系统的这两项性能要求， 且此时的数据量也将更大。为了解决这个问题，我们首先应当仔细地分析目标 捕捉的过程。 圉22 普通方法的目标图像提取 在进一步分析之前，我们必须明确卟先决条件：图像序列中动态目标区 域的空间位置是时变的，而特定区域内的日标至少拥有一个基本不变的特征。 假设目标区域的空间位置是时不变的，那么它和图像背景是融为一体的，我们 无法通过图像序列的时域分析检测出来它。再假设这个目标区域的所有特征都 是快速变化而无规律的，那么可以说目标区域的不确定特征使我们失去了识别 目标的根本依据，也就无法判断获取区域是否正确。所以，我们有理由认为一 般的动态目标具有移动性，以及至少拥有一个具有基本不变性的特征。 在这个假设下，我们认为运动日标捕捉的过程可以一分为二来看。运动目 标捕捉首先需要对运动目标空间位置和范围进行检测，然后根据这个确定的空 间位置和区域来获得这片特定区域的图像数据。 a ) 运动目标空间信息的检测。我们通过图像序列间的相关信息来获得运动 上海大学硕士学位论文 目标空间的信息。这就要求图像采集必须保证适当的时域采样率才能通过图像 间的相关性检测到目标。采集速度过慢会影响目标运动轨迹的还原精度，甚至 导致目标漏检、误检，更不利于多目标的快速跟踪。我们的目的是从冗余背景 中检测出有效的目标区域，对目标本身的细节并不关注，因此这个阶段过高的 分辨率是不必要的，且分辨率降低带来的目标定位精度的误差也是有限的。 假设采集的图像的解析度是像素单位长度，一个空间点的坐标为( z ，y ) ， 那么当解析度降为像素单位长度时( 刀) ，空间坐标为( 1 言j ，【- 音j ，当还 原这个坐标到像素单位长度时坐标值为( 1 刮，z ，【- 音j 刀 ，坐标最大误差为 m a x ( x 一【- 言j 刀 = 靠个像素，相比解析度只有昙 1 的误差。因此在分辨率降 低倍率有限的情况下，这样的误差是完全可以接受。 b ) 特定空间位置的图像提取。对于目标图像提取来说，提取的图像数据是 进一步处理的信息源，对系统具有“重要”意义。提取到的目标图像越清晰， 就越有利于对目标细节的分析处理。此时图像空间采样精度是我们最关心的问 题。而和前一个过程相反，此时的目标空间范围确定，那么对指定区域的图像 采集速度就不敏感了。事实上，由于目标区域只是局部的、和整个场景相比数 据量也不大，对全局速度的影响自然也很小，并且一般应用对目标图像的采集 速度要求远没有对空间位置检测时来得敏感。 不难看出，采集固定分辨率图像并保存部分有效目标区域的普通方法在像 素采样速率固定的情况下，分辨率和采集速度成反比关系，二者看似无法兼得。 但当我们将其过程分成两个阶段后发现，两个阶段内部的性能指标各有倾向性： 运动目标空间位置检测时对采集速率有更高的要求；而特定区域的目标图像提 取时对清晰度却有很高的需求。所以，我们只要能够在目标捕捉的不同阶段切 换成侧重于某一图像采集性能指标的工作模式，就可以很好地解决清晰度和采 集速度之间的矛盾。 8 上海上十 位* 女 圈23 两阶段方式的目标图像提取 为了实现上述图像采集方式的切换，我们必须选择有源像素c m o s 图像传 感器( a p s c m o s ) 。a p s c m o s 图像传感器使用普通c m o s 工艺生产，具有 类似r a m 读写的器件特性，因而我们可以读取整个传感嚣靶面上任意位置、 任意大小的区域，甚至可以隔行、隔列地读取图像数据，并且传感器的采集速 率主要受到数据读取速度快慢的影响，读取数据越多速度也越慢，是可控制的。 这种我们称之为开窗特性( w i n d o w i n g ) 田2 4 埘1 的功能是c c d 所没有的。c c d 必须整面或者整行地读取，无法满足我们的系统要求。并且器件集成度不高， 设计复杂，成本较高。 在运动目标检测阶段，我们需要整个场景的信息，所以我们需要采集整个 传感器靶面范围的数据。但是为了提高采集速率，我们可以使c m o s 传感器对 靶面数据进行隔行、隔列采集。假设原来传感器靶面长宽各有、r 像素点， 点采集频率为二，那么原始分辨率为x y ) 个像素单位面积，采集速率为 占害药。先每隔一行、列采集一点，那么此时分辨率为 鲁； 个像素单位面 积，采集速率为谚； 勿，这样我们就以牺牲( i - z z ) 倍清晰度的代价获得原 本 ：倍采集速度，而此时分辨率对我们并不是特别的重要。 在提取确定目标区域在靶面的具体空间位置时，我们从运动目标检测阶段 上海大学硕士学位论文 已经获得了运动目标相对于全景的空间位置和大小，因此我们只需要让c m o s 传感器读取这个区域图像数据。由于这个阶段的重点是高清晰度的目标图像， 所以我们在这个范围内读取每一个像素点。当然，此时的空间坐标值是从运动 目标检测阶段的坐标折算过来的。 图2 4 两阶段目标提取方式的流程图 整个针对目标区域的具体采集过程如图2 4 所示。具体步骤如下：( 假设传 感器横向拥有个像素，纵向拥有凰个像素，像素读取速率为石妇，) 1 ) 设置c m o s 传感器的窗1 2 为f r o h o ；起始坐标为c m o s 靶面坐标 ( x 0 = o ，y 。= 0 ) ；分别设置行、列的寻址模式为每疗行、列读取一组像 素点的模式； 2 ) 采集数据，获得实际堕皇旦的图像，此时的采集速度为 nn 簪半 场消影行数； 风+ b l a n k i t ，其中b l a n k 为行消影点数，b i a n k h 为 3 ) 进行运动检测，如没有检测到回到步骤2 ； 1 0 上海大学硕士学位论文 4 ) 如检测到目标，则暂存检测到图像的相对坐标g 。，y 。) ，和相对大小 h l ； 5 ) 设置c m o s 传感器的新窗口为靠暇n h l ；设置起始位置为c m o s 靶面 坐标( ，。，n y 。) ；设置为逐点读取模式； 6 ) 采集一帧( 以n h 。) 的目标图像，送交进一步的数据处理；回到步 骤l 。 2 1 3 目标跟踪和多目标的确立 为了获取连续的目标区域的空间位置信息，我们就必须对目标进行跟踪。 使用的跟踪算法的好处在于： 不用每次都对整个场景进行分析，而只需采纳并修正上一次的分析结 果，可以大大减少了运算量。 对于多目标情况下，全场景分析不利于特征相同或者十分近似的目标 的区分。跟踪算法利用时间域上的空间相关性，可以很好地克服这样 的缺陷。 本文采用的c a m s h i f t 算法是一种算法核心基于均值漂移算法( m e a n s h i f t ) 的跟踪算法。它以特征的概率密度作为判断依据将搜索窗口逐次逼近目 标区域，并收敛于确定目标的空间范围。c a m s h i f t 通过使当前帧继承前一帧 的搜索窗口并适当调整窗口大小拓展了m e a ns l l i f t 算法的适用范围，可以高效 地连续跟踪目标，并且自适应目标的形变。即使在局部遮挡的情况、在出现多 个特征相同但不相会物体的情况下也能正确跟踪，具有良好的鲁棒性。 c a m s h i f t 的提出之初是以目标的色度信息作为跟踪依据的，但是算法本身并 没有限定只有色度的概率密度才是唯一的特征参数。各种特征参数下的概率密 度图都可以成为c a m s h i f t 算法跟踪的依据，因此c a m s h i f t 具有很好的扩 展性和广泛的适用性。 但是c a m s h i f t 算法也是有缺陷的。c a m s h i f t 是一个半自动算法，需 上海大学硕士学位论文 要事先确定初始的搜索窗口和跟踪目标的概率密度特征。为了自动获得确定目 标的跟踪参数，我们利用运动检测算法从视频背景中获得移动物体的大致位置， 并从移动物体范围内的图像中提取这个目标物体特征的概率密度。这样，整个 系统就能自动检测到运动物体，并且不断地跟踪它的运动，在特定时机去捕获 它的清晰图像。 当然，具体监视目标可以是多个的。那多目标的跟踪和捕捉能力也就显得 非常得必要。跟踪算法的应用使得多个目标，即使是特征相同的多个目标也能 被独立确认，而不被混淆。因此，只需在发现运动目标，也就是运动检测算法 检测到移动物体的时候，就对物体进行标记，就可以无误地监视多个目标，并 捕获我们的图片。当然能够跟踪多少个目标取决于采集系统的运算能力。 2 1 4 多系统网络建立的可能 这个课题被提出的一个重要原因是：当多设备使用时，对数据传输以及数 据传输网络容量的担忧。前三节对于系统设计的思路在兼顾了图像清晰度和采 集速度的同时，其实也降低了整体系统的数据量和数据流量。 基于这个原因，我们对于多个设备的情况下，可以获得如下的可能： 无需为每个设备单独提供数据链路，而可以通过单一网络联网，节省 链路成本； 在不更换网络基础的情况下，可以提高单个网络对设备数量的接受能 力； 在一定应用需求内，可以实用更加廉价的低速网路或者一般网络。 我们利用d m 6 4 2 的e m a c 接口，设计了系统的1 0 0 m b p s 以太网接入能力。 因此可以比较容易地组建一个多设备网络。网络的利用可以更加利于设备同步、 远程控制等先进的处理方法。而以太网本身是一个使用普遍、成本低廉、应用 方便的网络。事实上，通过e m i f 接口我们还可以扩展到1 0 0 0 m b p s 的以太网 接口，使系统具有更广泛的适用范围。 图2 5 是一个多机网络的想像图。假想的这个系统可以是大楼监控系统， 也可以是道路监视系统。系统内部通过1 0 0 m b p s 或者1 0 0 0 m b p s 的以太网络连 1 2 上海大学硕士学位论文 接。每一个单元设备都直接或者通过网络交换设备接入网络。虽然网络带宽是 固定的，但由于每个视觉设备单元的数据流量并不大，所以整个网络的流量相 对也较小，能够承载的设备单元也更多。 服务器主机也通过网络接受视频数据、发送控制指令。由于传输的视频经 过预处理，消除了冗余信息，因此服务器的计算量有限，磁盘阵列也能存储更 多的有用数据。 另外，这样的以太网络也可以被其他带有网卡的终端设备接入，可以是固 定终端，也可以是通过无线热点接入的移动终端。当然和其他网络桥接，提供 远程服务也是很容易的。 图2 5 多机网络的想像图 1 3 上* 学# 论女 3 1 硬件系统结构 第三章硬件设计 图3 1 系统硬件框架 如图3 1 ，按照上一章的设计规划，我们的硬件系统应当以t m s 3 2 0 d m 6 4 2 d s p 和a p s c m o s 图像传感器为基础。作为辅助，我们设计了一路v g a 视频 输出电路用于监视：一路以太网接口用于视频数据传输和联机通信；两路异步 r s 2 3 2 和r s 4 8 5 串口用于工业标准的简单控制通信和数据交换：若干通用i o 口线用于其他辅助扩展功能。 在硬件系统的设计中我们将d s p 系统( 含s d r a m 和f l a s h ) 和视频 输入输出及外围电路分开设计，这样的设计基于如下两个理由： d s p 处理系统是个通用的运算平台，无论我们使用了怎么样的外设 芯片和电路，d s p 芯片本身的外围电路设计却是不变的。通过设置d s p 的内部寄存器，我们可以灵活地使用d s p 的各种功能而不必大范围 地改动d s p 的电路。至于外设电路根据不同的应用需要，其电路是 完全不同的，不具备通用的能力。因此，单独设计d s p 部分可以提高 上海大学硕士学位论文 d s p 硬件电路对各种应用的复用性。 d s p 系统是高速的纯数字系统。相比d s p ，外设电路往往是低速的， 模数混合的。高速数字电路的设计对信号完整性、电磁兼容性都有更 高的要求，因而需要多层电路板和特别的电路设计规范，但会提高系 统的成本。另外，外设电路模数混合容易造成对d s p 系统的干扰。反 过来d s p 的高速数字信号也会干扰低速、混合电路。所以，将d s p 电 路和外设电路分开设计有利于降低成本和减少系统电磁干扰。 3 2d s p 处理平台 t m s 3 2 0 d m 6 4 2 是一款属于t m s 3 2 0 c 6 4 x 系列的高性能多媒体定点d s p 处 理器。t m s 3 2 0 d m 6 4 2 基于德州仪器第二代高性能、r e l o c i t i 超常指令集架构， 并且兼容c 6 4 x 和c 6 0 0 0 内核的指令集，其内部结构见图3 2 。 在6 0 0 m h z 的时钟频率下，d m 6 4 2 每秒最高可执行4 8 亿条指令( 4 8 0 0 m i p s ) 。其内核拥有6 4 个3 2 位通用寄存器和8 个独立的功能单元其中2 个是乘法器，6 个是算术逻辑单元( a l u ) 。v e l o c i t i 结构的并行能力可以同时 执行4 个3 2 位累乘加运算，或者8 个8 位累乘加运算，以加速视频和图像的计 算和处理。 d m 6 4 2 拥有两级高速缓存c a c h e 。一级缓存( l 1 ) 包括1 2 8 k b 的直接映射 程序缓存( l 1 p ) 和1 2 8 k b 的双口数据缓存( l i d ) 。二级缓存( l 2 ) 有2 m b 的总空间，程序和数据可以共享整个存储空间，用户甚至还可以将这段空间配 置或部分配置为普通的片内s r a m 。【l 】【2 】【3 】 d m 6 4 2 作为一款专门为多媒体处理设计的d s p ，有着极为丰富的片上外设 接口，包括：三个可配置视频端口；一个1 0 1 0 0m b p s 以太网m a c 接口 ( e m a c ) ；一个管理数据i 0 模块；一个v c x o 控制端口( v i c ) ；一个多通道缓 冲串行音频端口( m c a s p o ) ：一个1 2 c 总线模块；两个多通道缓存串h ( m c b s p ) , 三个3 2 位通用时钟；一个用户可配置的1 6 位或3 2 位主机接h ( h p l l 6 h p l 3 2 ) ； 1 5 上海大学硕士学位论文 一个p c i 总线接口；一个1 6 脚可编程中断模式的通用i o ( g p 0 ) ；一个6 4 位外 部存储器接口( e m i f a ) 。【4 】【5 】 3 2 2c p u 单元( d s p 核) 图3 2d m 6 4 2 内部结构框图 如图3 3 所示( 其中黄色部分为c 6 4 x 内核独有的功能单元) ，d m 6 4 2 的 c p u 7 】由以下三部分组成： 1 ) 程序读入及指令译码、分配机构，包括程序取指单元、指令分配单元 和指令译码单元。程序取指单元通过程序总线与片内程序存储器相连。 1 6 上海大学硕士学位论文 c 6 4 x c p u 取搬令 控制寄存器 指令分配 中斯 | 豁级描令封装 l l 增强镬仿舆器l 控镧 攒令嬲褥 致据通路l 寄存器组a l 寄存器组b a 15 - - - a 0 l b 1 5 - b 0 a 3 1 a 1 6i li b 3 1 一b 1 6i 上上i 上j l工j lj k l 1s 1鹾1d t0 2s 2l 2 习 l + 习圈囝e圈圈 国 目 目习闰圉 崮 7 弋。 。吖、 双6 4 位读取存锗通路 图3 3c p u 单元( d s p 核) 2 ) 程序执行机构，包括： 两个通用寄存器组( a 和b ，各有3 2 个3 2 - b i t 通用寄存器) 8 个功能单元( l i ，l 2 ，s i ，s 2 ，m 1 ，m 2 ，d 1 ，d 2 ) ，执行逻辑、 位移、乘法、加法和数据寻址等操作，除取指令和存指令之外的所 有指令均对寄存器产生影响，数据寻址单元( d i 和d 3 ) 专门负责 寄存器组与存储器之间的数据传递 两个内存读数据的数据通道( l d l 和l d 2 ) 两个写内存的数据通道( s t l 和s t 2 ) 两个数据地址通道( d a i 和d a 2 ) 两个寄存器组数据交叉通道( i x 和2 x ) 控制寄存器组、控制逻辑和中断逻辑 每组数据通路通过内核数据i o 总线与片内数据存储器相连。 3 】芯片测试和仿真端口及其控制逻辑 1 7 上海大学硕士学位论文 3 2 3 存储器设计 1 、d m 6 4 2 的存储空间 d m 6 4 2 的存储空间包括内部数据程序空间、外设寄存器设置空间和外部 存储器空间。【l 】【2 】 c 6 4 x 系列d s p 是基于c a c h e 结构的内核，拥有两层高速缓存。但是其l 1 是数据和程序独立的，非映射到存储空间。内部r a m 是程序和数据共享的 s r a m ，既可以作为l 2 ，也可以全部配置为用户r a m ，或者两者的混合模式。 其空间映射到0 0 0 00 0 0 0 - - - 0 0 0 3f f f f 的2 5 6 k b 空间。【8 】【9 】 其他部分参见表3 1 。 内存段名称段容量( 字节)地址范围( 十六进制) 内部s r a m ( l 2 ) 2 5 6 k0 0 0 00 0 0 0 一0 0 0 3f f f f 片内外设寄存器及保留 7 6 7 7 5 m0 0 0 40 0 0 0 - - 2 f f ff f f f m c b s p 数据段 1 2 8 n 13 0 0 00 0 0 0 - - 3 7 f ff f f f 保留 6 4 m3 8 0 00 0 0 0 - - 3 b f ff f f f m c a s p 数据段 1 m3 c 0 00 0 0 0 - - 3 c o ff f f f 保留 8 9 5 m3 c 1 00 0 0 0 一7 3 f ff f f f 视频端口数据段 1 9 2 n i7 4 0 00 0 0 0 - - 7 f f ff f f f e n i i f ac e 02 5 6 n 18 0 0 00 0 0 0 一8 f f ff f f f e n t i f ac e l2 5 6 n 19 0 0 00 0 0 0 - - 9 f f ff f f f e m i f a