（计算机应用技术专业论文）基于嵌入式的目标检测与跟踪技术研究与实现.pdf

摘要 摘要 现有跟踪系统大部分采用p c 机或工控机结构，主要考虑图像处理涉及数据量大、 对处理器要求高的特点。然而，这种结构存在明显不足： ( 1 ) 大量无意义画面的回传，增加了数据通信量，但没有减轻系统工作量； ( 2 ) 受有效传输速率限制，回传图像清晰度较低，严重影响了跟踪效果； ( 3 ) 跟踪处理在远离图像采集地的监控中心完成，系统的实时性较差； ( 4 ) p c 机和工控机集成了许多与跟踪系统无关的部件，增加了系统成本； 如果在前端利用嵌入式系统对目标进行检测和跟踪，将图像的采集和处理在前端 完成，可以提高系统实时性；将跟踪结果而不是图像传回监控中心，可以极大的降低 数据通信量，很好的解决图像清晰度问题。 本文设计了一种基于嵌入式的目标检测与跟踪解决方案，提出了适合嵌入式环境 的m p f 目标检测和不变矩的目标关联新方法，实现了将嵌入式技术与跟踪技术相结 合的跟踪系统。 本文主要完成以下几方面工作： ( 1 ) 跟踪系统总体设计，包括嵌入式硬件选择、运行环境设计、跟踪系统软件设 计； ( 2 ) 嵌入式运行环境搭建，包括f s 2 4 1 0 开发板配置、嵌入式l i n u x 内核裁剪、根 文件系统制作、图像采集等； ( 3 ) 针对目标检测中搜索范围广、计算量大问题，提出了m p f 目标检测方法，该 方法通过预测目标下一步位置，缩小了检测范围，提高了检测速度； ( 4 ) 针对目标移动过程中产生的平移、旋转、比例变化问题，提出了基于不变矩 的目标关联方法，该方法根据目标初始特征计算不变矩，通过不变矩快速实现目标关 联； ( 5 ) 嵌入式下目标检测与跟踪系统的实现与性能测试； 关键字：嵌入式，目标检测，目标跟踪，轨迹预测，不变矩 a b s t r a c t n o w m o s t0 ft h ee x i s t i n gt r a c k i n gs y s t e m su s ep c o ri p cs t r u c t u r e ，w h i c hm a l i n y c o n s i d e rt 、) l ，of a c t o r s ：t h ep r o c e s s i n go fl a r g ev o l u m eo f d a t aa n dt h ed e m a n d i n go ft h e p r o c e s s o rs p e e d h o w e v e r , t h i s s t r u c t u r ep r e s e n c e so b v i o u sd e f i c i e n c y ： f1 ) n u m b e r so fm e a n i n g l e s sr e t u r n e di m a g e si n c r e a s et h ed a t at r a f f i c ，b u t i tc 姐t r e d u c et h es y s t e mw o 盥。破 。 ( 2 ) l i i l l i t e db yt h ee f f e c t i v e o ft r a n s m i s s i o nr a t e ，t h e r e t u r n e d1 i i l a g eh a 8l o w 盯 d e f i n i t i o n , w h i c hs e r i o u s l ya f f e c t st h et r a c k i n gr e s u l t s ； ( 3 ) t r a c kp r o c e s s i n gi s i nt h em o n i t o r i n gc e n t e rw h i c hi sa w a yf r o mt h ep l a c eo f i m a g ea c q u i s i t i o n , s os y s t e m sr e a l - t i m e i sp o o r ； ( 4 ) p ca n di p ci n t e g r a t ean u m b e ro fi n d e p e n d e n tc o m p o n e n t s ，w h i c h l l l c r e a 8 et b e c o s to fs y s t e m ； i fw eu s ee n 曲e d d e ds y s t e mt o d e t e c ta n dt r a c kt h et a r g e ti nf r o n t ，a n dc e n t r a l i z e d c o i l e c t i o na n dp r o c e s s i n go fi m a g ea ts a m ep l a c e ，t h u si t c a ni m p r o v et h es y s t 锄。s r e a l t i m ee f f e c t ；t h er e s u l t so ft r a c k i n g ，n o ti m a g e sw h i c hw e r es e n d t om o n i t o r i n gc e n t e r ， c a l lg r e a t l yr e d u c et h ed a t at r a f f i c ，a n di m p r o v ei m a g e sd e f i n i t i o nw e l l i i l 吐l i sp 印e r t h es o l u t i o no ft a r g e td e t e c t i o na n dt r a c k i n gw h i c h b a s e do n 锄b e d d e d i s 硫n 咖gu p i tp r o p o s e st h en e w m e t h o do fm p ft a r g e td e t e c t i o na n dt a r g e t 仃a c k l n g w m c hb a s e do nm o m e n ti n v a r i a n t sf o re m b e d d e de n v i r o n m e n t s t h i st r a c k i n gs 蜘。锄 c o m b i l l e dw i t h 翩曲e d d e dt e c h n o l o g ya n dt r a c k i n gt e c h n o l o g y w a si m p l e m e n t e d t h i sp a p e rc o m p l e t e dt h ef o l l o w i n g t a s k s ： ( 1 ) t r a 幽gs y s t e m d e s i g n ， i n c l u d i n ge m b e d d e d h a r d w a r e o p t l o n s ， o p e r a n n g e l i r o n m e n ta n ds o f t w a r e - d e s i g no ft r a c k i n gs y s t e m ； ( 2 ) e m b e d d e do p e r a t i n ge n v i r o n m e n ts e tu p ，i n c l u d i n gf s 2 4 1 0d e v e l o p m e n tb o 锄 c o n f i g u r a t i 呱t h ee m b e d d e dl i n u x k e m e lt a i l o r i n g , t h ep r o d u c t i o no f t h er o o t 士i l es y s t 锄， i m a g ea c q u i s i t i o na n ds oo n ； 一 ( 3 ) i ng e n e r a l ，t h et a r g e td e t e c t i o n sr a n g ei sw i d e r , i t s c a l c u l a t i o ni se l l o m o u s - f o r t h i sp m b l e i n ，m p fd e t e c t i o nm e t h o dw a sp r o p o s e d t h i sm e t h o dr e d u c e dt h ed e t e 咖d n m g ea n di m p r o v e dd e t e c t i o nr a t e ，b yp r e d i c t i n gt h e n e x ts t e po ft a r g e tl o c a t i o n ； ( 4 ) f a c e dw i t ht h i sp r o b l e m ，w h i c ht h et a r g e tm o v i n ga r i s es o m ep r o b l e m , 8 u 叻a s t r a n s l a t i o n 。r o t a t i o n ，p r o p o r t i o n a lc h a n g i n ge t c ，t h e t a r g e tr e l a t i o nm e t h o d b a s e do n m o m e n ti n v 砸籼w a sp r o p o s e d i tc a l c u l a t e su n d e rt h et a r g e t si n i t i a lf e a t u r e ，t o a c l l i e v e t t a b s t r a c t t h et a r g e t sr e l a t i o nq u i c k l y ； ( 5 ) t h ei m p l e m e n t a t i o na n dt e s t i n go ft a r g e td e t e c t i o na n dt r a c k i n gs y s t e mb a s e do n e m b e d d e dw a sc o m p l e t e d k e yw o r d s ：e m b e d d e d ，t a r g e td e t e c t i o n , t a r g e tt r a c k i n g ，t r a j e c t o r yp r e d i c t i o n , m o m e n ti n v a r i a n t s i 第1 章绪论 第1 章绪论 1 1本课题提出的背景与意义 随着数字图像技术，人工智能、嵌入式计算机技术、通信技术的发展，计算机视 觉与计算机智能处理已经成为可能。运动目标的检测与跟踪是计算机视觉处理领域的 一个重要课题，具有广泛的应用前景，例如，靶场目标探测、飞机、导弹等目标轨迹 跟踪、公共交通的流量检测等等。因此，研究运动目标的检测和跟踪具有重要意义， 尤其是在人无法参与或者工作量太大场合，研究智能化视觉分析和目标跟踪系统是必 然趋势。 现有跟踪系统大部分采用p c 机或工控机结构，主要考虑图像处理涉及数据量大、 对处理器要求高的特点。然而，这种结构存在明显不足： ( 1 ) 大量无意义画面的回传，增加了数据通信量j 但没有减轻系统工作量； ( 2 ) 受有效传输速率限制，回传图像清晰度较低，严重影响了跟踪效果； ( 3 ) 跟踪处理在远离图像采集地的监控中心完成，系统的实时性较差； ( 4 ) p c 机和工控机集成了许多与跟踪系统无关的部件，增加了系统成本； 如果在前端利用嵌入式系统对目标进行检测和跟踪，将图像采集和处理集中于前 端，可以提高系统实时性；将跟踪结果而不是图像传回监控中心，可以极大的降低数 据通信量，很好的解决图像清晰度问题。由此一种新型目标跟踪系统应运而生基 于嵌入式的目标检测与跟踪系统。 基于嵌入式的目标检测与跟踪系统，是以嵌入式作为运行平台，集成嵌入式系统 下的图像处理、检测、跟踪技术。前端具有图像检测和跟踪功能，通过任何一台可以 上网的计算机即可获得目标跟踪信息，由它代替当前广泛应用的p c 机或工控机跟踪 系统将成为必然趋势。 嵌入式下目标检测与跟踪系统的设计与实现具有广泛的意义：第一，可以深入了 解嵌入式软硬件环境，提高对当前流行的嵌入式硬件配置及性能的了解，掌握硬件平 台的软件环境配置技术；第二，可以加深目标检测与关联方法研究水平，提高跟踪技 术创新能力，提出的新观点新方法还能推进跟踪技术发展；第三，嵌入式下跟踪系统 的实现，开拓了跟踪系统新的应用领域。 1 。2国内外该领域研究现状 目i i l i 内外对跟踪系统的研究按照摄像头是否运动分为两种【1 】：( 1 ) 摄像头随着运 第1 章绪论 动目标移动，始终保持目标在图像的中心附近。( 2 ) 摄像头固定，只是对视场内的目 标进行跟踪。按照应用领域可分为两种：( 1 ) 基于传统的p c 机或服务器的大型图像跟 踪系统，其主要应用于运算量大，运行目标多，环境相对复杂领域。( 2 ) 基于特定场 景和功能的嵌入式跟踪系统，其为专门应用开发软硬件，应用到特定目的，特定背景 的场景中。 国外对目标跟踪的理论和应用研究起步较早，上世纪5 0 年代初期，g a c 公司就 为美国海军研制了自动地形识别跟踪系统( a t r a n ) 【2 】。7 0 年代初期，自适应跟踪、 智能跟踪方法相继提出，许多国际性刊物成了专家、学者交流的重要平台。7 0 年代 后期至今，跟踪技术无论在理论研究，还是在应用开发上都取得了巨大进展。学术方 面，w m e g e r 和g d r i u s 报道了有关二维关联计算【3 】；h e r , b a m e a ，m a u r e r 等人对跟 踪研究领域的新思想、新方法、新进展作了系统而全面的论述【4 】。应用方面，目标跟 踪技术广泛应用于航天、军事等领域，取得了惊人的成就。美国国防高级研究项目署 ( d r a p a ) 建立了以卡内基梅隆大学为首的研究团体研发了视频监控重大项目 v s a m 引( v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) ，其利用多种传感器融合技术实现对战 场自动监控。2 0 0 0 年h a r i t a o g l u 等开发了实时监控系统w 4 6 1 ，其结合运动估计和目 标匹配实现对人体各部分相对位置和大小的监控跟踪。 目标跟踪技术在我国起步较晚，7 0 年代初期，国防科技大学、中科院光电技术 研究所等【7 】，在目标跟踪领域做了大量工作，例如，在目标与背景红外图像特征处理 研究中，提出了算法融合思想、在线多目标处理技术、分段控制系统策略等。8 0 年 代以来，我国注重视频跟踪应用方面的研究【8 】，研制出了7 8 8 型广电经纬仪，d g c 电 视跟踪测量经纬仪等。2 0 0 0 以后我国的图像跟踪技术进入了一个较快的发展阶段， 如刘刚【9 】等人采用块匹配方法，实现了高速电视下的实时目标图像跟踪。曾文斌【1 0 】 设计了一款具有多摄像机的智能跟踪监控系统。2 0 0 2 年和2 0 0 3 年中科院自动化研究 所举办了两届全国智能视觉监控会议。2 0 0 6 年北京图像图形学会举办了中国首届城 市公共视觉听觉科技研讨会。计算机学报、软件学报和控制与决策等杂志 为智能监控与跟踪技术发展提供了展示新成果的平台。 1 2 1 运动目标检测研究现状 运动目标检测【1 1 1 ，就是从序列图像中将变化区域从背景图像中提取出来。常用的 检测方法有基于差分方法、基于背景估计方法和基于运动场估计方法三种： ( 1 ) 基于差分方法 差分方法对连续图像序列中二个或三个相邻帧图像作相减运算，利用视频序列相 邻帧之间的强相关性进行变化检测，确定运动目标。差分后的结果【1 2 】包括三个部分： 目标、显现背景和噪声。差分方法得到了广泛应用，如l i p t o n 等【1 3 】利用两帧差分方 2 第1 章绪论 法从实际视频图像中检测运动目标；v s a m 开发了一种自适应背景减除与三帧差分 相结合的混合算法，能够快速检测运动目标。 差分方法算法简单，对于动态环境具有较强的适应能力，但是该方法不能完全提 取目标特征点，对于缓慢运动的目标无法提取目标边界，而对于快速运动的目标提取 目标区域又过大，容易在运动实体内部产生空洞现象。 ( 2 ) 基于背景估计方法 背景估计方法将当前帧图像与事先存储或动态更新的背景图像相减，若某一像素 值大于阈值，则认为该像素属于运动目标。h a r i t a o g l u 等利用最小、最大强度值和最 大时间差分值对场景中每个像素统计建模，并周期性更新背景；k a r m a n n 与b r a n d t 1 4 】 采用基于卡尔曼滤波的自适应背景模型以适应天气和光照变化；s t a u f f e r 等【1 5 1 建立了 混合高斯分布背景统计模型，对每个像素点建立一个由若干个高斯分布组成的混合高 斯模型。文献 1 6 利用隐马尔可夫方法进行背景建模。文献 1 7 把第一帧图像划分为 大小相同的模块，对每块计算边缘特性直方图得到背景模型。文献【18 计算每个像素 点附近的局部二元图、纹理直方图，作为像素点特征，学习得到背景模型。 背景估计方法，能够较好的适应光照变化，但动态更新背景计算量较大。 ( 3 ) 基于运动场估计方法 基于运动场估计方法通过视频序列的时空相关性分析估计运动场，建立相邻帧对 应关系，进而利用目标与背景运动形式不同进行运动目标检测。光流法是一种应用较 多的运动场估计方法，其通过计算光流并对光流图像进行分割来检测运动目标。如 m e y e r 等【l9 】通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提 取和跟踪运动目标。 光流法适合于图像捕获间隔很短情况。大多数的光流法计算复杂，抗噪声能力差， 应用于视频流实时处理时需要硬件装置。 1 2 2 目标跟踪方法研究现状 所谓目标跟踪【2 0 1 ，就是对图像序列中的运动目标进行关联、跟踪，获得运动目标 的运动参数，如位置、速度、加速度、运动轨迹等。 目前提出许多目标跟踪方法，这些方法主要考虑以下几个因素： ( 1 ) 运动目标表示方法； ( 2 ) 目标特征选择方法； ( 3 ) 目标外观和形状建模； ( 4 ) 跟踪应用环境； ( 5 ) 跟踪信息最终用途； 3 第l 章绪论 1 2 2 1 目标表示 目标表示方法主要包括下面几个方面： 1 基于目标形状表示方法： ( 1 ) 点表示：运动目标用一个点或一系列点表示【2 1 1 。这种表示方法用点反映目标 位置，适合对目标较小且对跟踪性能要求较低的情况。 ( 2 ) 几何形状表示【捌：运用几何形状来描述目标，适合应用于刚体目标。 ( 3 ) 目标剪影或轮廓表示：利用剪影或轮廓能够较好的表示目标整体特征。 ( 4 ) 骨架模型表示：通过中轴变换从目标轮廓提取骨架【2 3 】，该方法广泛应用于铰 接目标和刚体目标。 2 基于形状与外观表示方法 ( 1 ) 概率密度模型表示：该方法分为无参估计和有参估计，例如高斯模型属于 有参估计，直方图属于无参估计。 ( 2 ) 模板表示：模板包含了目标的空间和外形信息，其使用一些简单的区域结合 表示形状或轮廓【2 5 1 ，适合于从单一视点出发的目标跟踪。 ( 3 ) 多视点外形模型法：首先对目标从不同视角进行编码，然后在给定的视点中 提取不同的子空间表示不同视点的目标，比如独立成分分析表示f 2 6 】。 1 2 2 2目标特征选择 目标特征是该目标区别于其他目标或背景的主要依据，是实现目标关联与目标跟 踪的关键因素。目前普遍采用的目标特征表示方法如下： ( 1 ) 颜色特征 物体颜色取决于光照和反射，通过不同形式的颜色表示方法，如r g b ，h s v 可 以实现对目标的区分。该方法受光照影响较大，只适用于简单的目标跟踪。 ( 2 ) 边缘特征 通过边缘检测算子如r o b e r t s 算子、p r e w i t t 算子、s o b e l 算子等，实现目标边缘 提取。边缘特征，能够较好的表示目标的轮廓，极大的降低了目标表示的数据量。 ( 3 ) 光流特征 光流是一个密集场位移矢量，用来确定每一个地区的像素。光流特征通常在基于 运动分割和跟踪应用中作为特征使用【2 8 】。 ( 4 ) 纹理特征 我们把灰度分布性质或图像表面呈现出的方向信息称为纹理结构。常见的纹理特 征描述有l b p 算子、g l c m 算子、小波算子等 2 9 - 3 0 】。 1 2 2 3目标跟踪方法 从跟踪维数来分，跟踪方法可分为3 d 方法与2 d 方法。3 d 方法是在世界坐标系 4 第1 章绪论 内，2 d 方法是在图像平面内；根据目标特征选择方法的不同，跟踪方法可分为基于 颜色【3 l - 3 4 1 、基于形状3 5 硼、基于区域【3 8 1 、基于视图和基于点特征【4 等；根据被跟 踪的目标数量，跟踪方法可分为单目标跟踪和多目标跟踪；根据匹配原理，跟踪方法 分为基于模型、区域、特征以及活动轮廓的跟踪【4 1 1 。 本文考虑到嵌入式的特殊环境，主要从匹配原理方面对跟踪方法进行区分，把现 有跟踪方法分为基于目标区域、目标特征、变形模板、目标模型的跟踪。 1 基于目标区域跟踪方法 基于区域跟踪方法是把预先提取的运动区域作为匹配的目标模板，设定一个匹配 度量，然后在下一帧图像中搜索匹配的目标图像，把度量取极值时的位置判定为最佳 匹配点。基于区域的跟踪算法由于提取了较完整的目标模板，相对于其他跟踪算法能 够得到更丰富的图像信息，因此广泛应用于跟踪较小的目标或对比度较差的目标。这 种算法简单，由于使用了目标的全局信息因而目标跟踪稳定，跟踪精度高。但存在以 下缺点： ( 1 ) 搜索区域大，计算量大，耗时长； ( 2 ) 目标发生尺度变化、目标旋转等几何失真时，模板匹配很困难； ( 3 ) 目标发生遮挡与形变时【4 2 1 ，跟踪效果较差，甚至丢失目标； ( 4 ) 对于复杂环境下的目标跟踪，存在模板的漂移问题【4 3 】； 2 基于目标特征跟踪方法 基于特征跟踪【4 4 郫】是指根据目标特征利用某种匹配算法在图像序列中寻找目标， 进而跟踪运动目标。该算法通常包括特征提取、特征匹配以及计算运动信息三个过程。 对于由于遮挡、照明及视角等造成的图像表象变化，具有很好的鲁棒性。该方法难点 在于如何选择合适的目标特征表示运动目标【4 6 4 刀。 3 基于变形模板跟踪方法 变形模板指纹理或边缘可以按一定限定条件变形的面板或曲线【4 8 1 。在视觉跟踪过 程中，常见的变形模板是主动轮廓模型【4 9 1 。变形模板跟踪是一种能量逐渐减小的过程， 即在内部弹性力、刚性力以及外部图形力、外部驱动力的作用下，在能量减小的过程 中，逐渐趋近于目标的轮廓，并最终分割出运动目标。这类跟踪算法适合可变形目标 的跟踪，如对运动人体5 0 1 、组织细胞的跟踪等5 1 1 。但这类算法同样存在缺点，主要 缺点包括【5 0 , 4 9 , 5 2 】： ( 1 ) 其要求初始轮廓线离目标的真实轮廓线很近，因此这类算法只能用于跟踪缓 慢运动的目标，限制了算法的应用范围； ( 2 ) 这类算法只适合对单目标的跟踪； ( 3 ) 算法收敛时间较长，跟踪实时性不好； 4 基于目标模型跟踪方法 5 第1 章绪论 目标模型跟踪方法首先由先验知识获得目标的三维结构模型和运动模型，然后根 据实际的跟踪场景，确定出目标的三维模型参数，进而确定目标的瞬时运动参数，关 联跟踪目标。目前主要有三种形式模型： ( 1 ) 线图模型，将物体的各个部分以直线近似。例如k a r a u l o v a 【5 3 】建立了人体骨骼 分层模型，用于人体检测。 ( 2 ) 二维轮廓模型，利用物体在图像中投影，实现目标维数变化，完成目标跟踪。 如j u 等【5 4 】提出纸板人模型，将人肢体用一组连接的平面区域表达。 ( 3 ) 立体模型，利用广义椭圆柱、球等三维模型来描述物体的结构细节。例如 w a c h t e r 等【5 5 利用椭圆锥台建立三维人体模型。 其主要缺点有： ( 1 ) 在实际应用中要获得所有运动目标的精确几何模型，非常困难； ( 2 ) 基于立体模型的跟踪算法需要大量的运算时间，实时性较差； 1 2 2 4目标检测与目标跟踪关系 前面我们讨论了跟踪系统中目标检测和跟踪技术的研究现状，可见检测问题和跟 踪问题是目标跟踪中不可分离的两个方面。根据跟踪与检测的先后关系可将目标跟踪 分为： ( 1 ) 先检测后跟踪【5 6 1 ，先检测每帧图像上的目标，然后将前后两帧图像上目标进 行匹配； ( 2 ) 先跟踪后检测【5 7 】，先对目标下一帧所在的位置及其状态进行预测，然后根据 检测结果，来矫正预测值； ( 3 ) 边检测边跟踪【5 8 】，图像序列中目标的检测和跟踪相结合； 1 2 3 嵌入式发展现状及应用前景 1 2 3 1嵌入式系统的概念 美国电气工程师协会给嵌入式系统( e m b e d d e ds y s t e m ) 的定义是：嵌入式系统 是用来控制或者监视机器、装置、工厂等大规模系统的设备。国内常见的定义是：嵌 入式系统是以应用为中心，以计算机技术为基础的，软硬件可裁剪的，能满足应用系 统对功能、可靠性、成本、体积、功耗等指标的严格要求的专用计算机系统。 嵌入式系统主要由嵌入式处理器、外围相关支撑硬件、嵌入式操作系统及应用软 件等组成，它是集软硬件于一体的可独立工作的器件。 1 2 3 2 嵌入式系统方案 当今市场上嵌入式系统方案主要包括以下几种 5 9 】： ， ( 1 ) 数字信号处理d s p 方案 6 第1 章绪论 基于数字信号处理器d s p 方案采用处理器内部专用硬件实现视频处理算法，其 运算速度快。但是，d s p 是串行执行指令，高速运算通过对某些固定的运算提供硬 件优化【6 0 】，然而这些固定优化运算并不能满足所有视频算法的需求，因此存在局限性。 而且，基于数字信号处理器d s p 方案无法达到硬件的重构，而重构性在嵌入式系统 的开发和维护上十分重要。由上可知，基于d s p 的视频处理方案在硬件重构、升级 特性等方面存在局限性。 ( 2 ) 专用集成电路a s i c 方案 专用集成电路a s i c 方案是基于a s i c 芯片来实现的，这种方案在各种算法实现 中最快。但是，a s i c 芯片设计周期长、造价昂贵，而且，当视频处理的算法需要改 变时，设计者需要重新设计芯片及硬件电路。因此，成本高、风险高。 ( 3 ) 可编程片上系统s o p c 方案 s o p c 是可编程片上系统，实际上就是基于大规模可编程器件f p g a 芯片的单片 系统【6 2 1 。f p g a 芯片的成本较高。 ( 4 ) 微控制器a r m 核方案 基于a r m 核的微控制器运算速度快，存储容量大，电路可扩展，其最大优势在 于支持高级语言编程。它在视频采集、处理算法、联动控制、人机接口等方面功能强 大，具有很好的网络支持，能方便进行网络层次的开发。 1 2 3 。3 嵌入式操作系统 嵌入式操作系统是一种实时的，支持嵌入式系统应用的操作系统，它是嵌入式系 统极为重要的组成部分，通常包括与硬件相关的底层驱动软件、系统内核、设备驱动 接口、通信协议、图形界面、标准化浏览器等。嵌入式操作系统在系统实时性、软件 固化、应用专用性方面具有突出特点。 常见的嵌入式操作系统包括w i n dr i v e r 公司的v xw o r k s 、微软公司的w i n d o w s c e ，p a l mo s 公司的p a l mo s ，嵌入式l i n u x 等，目前广泛应用的是嵌入式l i n u x 。 1 2 3 4 嵌入式技术发展现状 2 0 世纪9 0 年代，随着计算机技术、通信技术的发展，嵌入式技术也得到了全面 发展，目前己有大量嵌入式产品出现在通信、电子等消费领域。通信领域中，中国部 分省市已由模拟电视向数字电视转变中的机顶盒技术、g p s 导航技术、基于嵌入式的 新一代手机，及掌上电子产品；企业专用解决方案中，如物流管理、条码扫描、移动 信息采集等；自动控制领域，银行a t m 机、自动售货机等。 1 2 3 5 嵌入式技术发展前景 随着网络技术，集成电路技术的发展，以及人们不断增长的功能需求，嵌入式技 7 第1 章绪论 术应该向不断满足增长的功能密度、灵活的网络联接、轻便的移动应用和多媒体信息 处理方向发展。 ( 1 ) 满足增长的功能密度 随着因特网技术的成熟，网上提供的信息内容日趋丰富，嵌入式电子设备的功能 不再单一，电气结构也更为复杂。为了满足应用功能的升级，设计师们一方面采用更 强大的嵌入式处理器，增强处理能力；另一方面采用实时多任务编程技术和交叉开发 技术，控制复杂性、简化应用程序设计、保障软件质量、缩短开发周期。 ( 2 ) 网络互联 为适应嵌入式分布处理结构和应用上网需求，嵌入式系统要求配备标准的一种或 多种网络通信接口，也需要提供相应的物理层驱动软件和通信组网协议。 ( 3 ) 轻便的移动应用 为满足这种特性，要求嵌入式产品设计者相应提高处理器的性能，扩大内存容量 和复用接口芯片，降低嵌入式产品的重量和体积。 ( 4 ) 多媒体信息处理 随着多媒体技术发展，嵌入式应用应该及时抓住人们不断增长的多媒体处理要 求，提供高效快捷的多媒体处理能力，不断丰富人们日常生活。 1 3 本文主要工作 本文在分析了目前国内外目标检测和跟踪技术研究的基础上，提出了基于嵌入式 的目标检测和跟踪方案，并就该方案提出了新的预测目标检测方法和基于不变矩的目 标关联跟踪方法，最后完成了该方案的设计与实现工作。主要包括以下工作： 1 3 1 嵌入式系统环境搭建 针对基于嵌入式下目标检测和跟踪方案中用到的嵌入式环境，本文在选择 f s 2 4 1 0 作为开发板的基础上，完成了相关软件环境的搭建工作，其中包括：嵌入式 l i n u x 内核裁剪、根文件系统制作、u s b 摄像头驱动加载及图像抓取、y f l a s h 烧写 等。通过这些工作实现了开发板的运行，为目标检测与跟踪提供了良好的运行平台。 1 3 2 基于预测的运动目标检测新方法 传统的目标检测方法大多应用于p c 机或工控机环境，该环境下的处理器速度较 快，内存容量较大。而嵌入式环境受其自身条件限制，处理器速度较慢、内存相对较 小，传统的检测方法如果应用于嵌入式环境可能造成算法运行慢、或无法运行的情况， 严重影响了系统的实时性和稳定性。因此，采用一种新的可以在嵌入式环境下使用的 检测方法已迫在眉睫。本文结合传统方法提出了m p f 检测方法，该方法首先使用背 8 第1 章绪论 景差法检测前几帧图像中的目标，确定目标的质心，然后对质心进行预测，确定目标 在下一帧中的位置，然后在下一帧中直接提取目标。m p f 检测方法，将目标搜索范 围从整个屏幕降到了较小的范围，具有处理速度快、计算量低、准确性高等特点，满 足嵌入式环境的要求。 1 3 3 不变矩实现目标关联新方法 目标跟踪中主要使用模板匹配、特征提取等方法实现目标关联，而目标在运动过 程中会发生平移、旋转、比例变化等几何失真问题，传统的基于模板匹配与特征提取 方法克服能力不足，跟踪效果较差。本文提出了一种基于不变矩的目标关联方法，该 方法对提取的目标特征进行二次加工，将容易变化的目标特征通过一定算法转化为不 变矩，然后使用不变矩实现目标关联，最后实现目标跟踪。不变矩方法克服了目标运 动过程中受平移、旋转、比例变化等因素的影响，能够较好的实现目标的跟踪。采用 目标轮廓进行不变矩计算，能够极大的降低计算量，满足嵌入式环境的要求。 1 3 4 目标检测与跟踪系统实现 目标检测与跟踪系统主要包括三个方面工作： ( 1 ) 总体设计 总体设计包括系统硬件和软件的总体架构、运行环境设计、跟踪系统功能模块划 分等。 ( 2 ) 硬件设计与实现 硬件设计主要包括开发板的选择，在分析现有处理器的基础上，结合目标跟踪需 要选择了基于a r m 核的f s 2 4 1 0 开发板。硬件实现，即实现嵌入式系统运行，主要 包括l i n u x 内核裁剪、根文件系统制作、u s b 摄像头图像采集，各种驱动加载，以及 j f l a s h 烧写等。 ( 3 ) 跟踪系统实现 跟踪系统实现就是要在前期硬件选择、运行环境搭建的基础上，实现基于嵌入式 的目标检测和跟踪系统，主要包括：图像预处理、m p f 方法目标检测、基于不变矩 的目标关联、目标跟踪等。 1 4 本文文章结构 本文从六个部分阐述了基于嵌入式下目标检测和跟踪方案，并结合当前国内外该 领域研究的现状进行了分析，提出了自己的解决方案，最后完成方案的设计与实现。 第一章绪论 首先，阐述了目前国内外跟踪技术研究的现状；其次，分别就目标检测和目标跟 9 第1 章绪论 踪技术领域的研究现状进行分别讨论；最后，结合本文提出的嵌入式技术，分析了嵌 入式技术发展现状，并就嵌入式技术发展前景进行了合理预测。 第二章系统硬件平台和软件环境搭建 本章主要就本文提出的基于嵌入式下目标检测和跟踪方案运行的嵌入式平台环 境进行选择配置工作。首先，分析了基于a r m 的f s 2 4 1 0 开发板的配置及性能优势； 其次，完成该平台的环境搭建工作，主要包括嵌入式l i n u x 内核的裁剪及相关驱动的 加载、根文件系统的制作、u s b 摄像头驱动加载及图像抓取、j f l a s h 烧写等。 第三章m p f 目标检测方法原理及实现 本章讨论了本文提出的轨迹预测检测方法。首先，分析了该方法产生的背景；其 次，就该检测方法进行了理论阐述，详细描述了该方法的推导过程；最后，分析了 m p f 方法的性能。 第四章基于不变矩的关联方法原理及实现 本章讨论了本文提出的基于不变矩的关联跟踪方法。首先，分析了该方法产生的 背景；其次，对不变矩关联方法进行了理论阐述，证明了不变矩具有平移、旋转和比 例不变性等特征；最后，分析了不变矩关联方法的性能。 第五章系统设计与实现 本章在前期硬件选择、嵌入式系统搭建、m p f 目标检测与不变矩关联方法实现 的基础上完成整个系统的实现工作。主要包括系统功能模块划分、模块实现、功能衔 接、实现效果几个方面。 第六章总结与展望 本章对本文实现的跟踪系统及提出的检测与跟踪新方法进行了总体分析，并就嵌 入式技术、跟踪技术发展前景进行展望，明确了以后的研究方向。 1 0 第2 章系统硬件平台和软件环境搭建 第2 章系统硬件平台和软件环境搭建 2 。1嵌入式系统组成 嵌入式系统主要由嵌入式处理器、嵌入式操作系统、外围相关支撑硬件及应用软 件系统等组成，它是集软硬件于一体的可独立工作的器件。 当今市场上嵌入式系统方案主要包括数字信号处理d s p 方案、基于专用集成电 路a s i c 方案、可编程片上系统s o p c 方案和基于微控制器a r m 核方案。 常见的嵌入式操作系统包括w i n dr i v e r 公司的v xw o r k s 、微软公司的w i n d o w s c e 、p a l mo s 公司开发的p a l mo s 、开放源码的嵌入式l i n u x 等。 2 2a r m 硬件开发板平台 2 2 1 开发板选择 本文分析了1 2 3 2 节各方案优缺点，同时考虑跟踪系统实时性、网络互联、以 及开发周期特性，选择了基于微控制器a r m 核的解决方案，确定f s 2 4 1 0 开发板为 系统硬件平台。 2 2 。2 开发板简介 f s 2 4 10 开发板主要包括t ( 1 ) 中央处理器 f s 2 4 1 0 开发板采用韩国三星公司开发的一款基于a r m 9 2 0 t 内核的1 6 3 2 位r i s c 嵌入式微处理器。a r m 9 2 0 t 核由a r m 9 t d m i ，存储管理单元( m m u ) 和高速缓存三部 分组成。 ( 2 ) 外部存储器 内存：6 4 m 字节； n o rf l a s h ：2 m 字节； n a n df l a s h ：6 4 m 字节； $ 3 c 2 4 1 0 将系统的存储空间分为8 组( b a n k ) ，每组的大小是1 2 8 m b ，共1 g b 。b a n k 0 n b a n k 5 开始地址固定，用于r o m 或s r a m 。b a n k 6 和b a n k 7 用于r o m 、s r a m 或 s d r a m ，这两个组可编程且大小相同。b a n k 7 开始地址是b a n k 6 结束地址。 $ 3 c 2 4 10 支持从n a n df l a s h 和n o rf l a s h 启动，n a n df l a s h 具有容量大， 比n o rf l a s h 价格低等特点。系统采用f l a s h 与s d r a m 组合，可以获得较高性价比。 ( 3 ) 调试及下载接口 1 1 第2 章系统硬件平台和软件环境搭建 一个2 0 芯m u l t i - - i c e 标准j t a g 接口，支持s d t 2 5 1 、a d s l 2 等调试及f l a s h 烧写。 2 3 嵌入式l in u x 操作系统 2 3 1嵌入式操作系统介绍 常见的嵌入式操作系统包括w i n dr i v e r 公司的v xw o r k s 、微软公司的w i n d o w s c e 、p a l mo s 公司开发的p a l mo s 、开放源码的嵌入式l i n u x 等。 v x w o r k s 操作系统是美国w i n d r i v e r 公司设计开发的一种嵌入式实时操作系统， 具有较高的实时性；进程调度、进程间通信、中断处理等公用程序精炼有效；系统采 用多任务机制，对任务控制采用优先级抢占和轮转调度机制，充分保证了可靠的实时 性。但是，v x w o r k s 开发和使用需要交高额的专利费，大大增加了用户成本。同时， 其代码不公开，使得其功能更新滞后。 w i n d o w sc e 是微软开发的一个开放的、可升级的3 2 位嵌入式操作系统。它不仅 继承了传统的w i n d o w s 图形界面，并且可以使用w i n d o w s 上的编程工具、也可以使 用同样的函数和界面风格，具有很好的移植性。但是，w i n d o w sc e 同样需要支付高 额费用使用。 p a l mo s 在p d a 和掌上电脑方面有独特的性能，其内核只有几千个字节，用户 可以方便地开发定制，具有较强的可操作性。 嵌入式l i n u x 是指对标准l i n u x 经过小型化裁剪处理后，能够固化在容量只有几 k b 或者几m b 的存储器芯片中，是适合于特定嵌入式应用场合的专用l i n u x 操作系 统。嵌入式l i n u x 具有低成本、多种硬件平台支持、优越的性能和良好的网络支持等 优点。较l i n u x 操作系统嵌入式l i n u x 采用微内核结构，微内核只提供一些最基本的 操作系统功能，如任务调度、内存管理、中断处理等，其他类似于文件系统和网络协 议功能则运行在用户空间。这样大大减小了内核体积，便于维护和移植。嵌入式l i n u x 还对l i n u x 系统进行了实时改造，其利用l i n u x 作为底层操作系统，构建了一个具有 实时处理能力的嵌入式系统。 2 3 2 嵌入式lin l l x 的优势 l i n u x 是一个开放的网络操作系统，并且始终遵循着源代码开放的原则，其作为 嵌入式操作系统有独特的优势： ( 1 ) 低成本 l i n u x 的源代码允许任何人获取并修改l i n u x 源码，降低了开发的成本，提高产 品开发效率。 ( 2 ) 可应用于多种硬件平台 12 第2 章系统硬件平台和软件环境搭建 l i n u x 可支持x 8 6 、p o w e rp c 、a r m 、m i p s 、a l p h a 等多种体系结构，可移植到 多种硬件平台。对于经费、时间受限的项目具有较大的应用能力。其可以从一个硬件 平台到另一个硬件平台的改动，并保持了与上层应用的无关性。 ( 3 ) 内核可定制 l i n u x 可以根据用户的要求，实时的将模块插入到内核或者从内核移走，并能根 据嵌入式设备量体裁衣。剪裁后的内核最小可达1 5 0 k b ，尤其适合资源受限的嵌入 式情况。 ( 4 ) 性能优越 l i n u x 系统内核精简、高效和稳定，能够充分发挥硬件的功能，较其他操作系统 具有更高的运行效率。 ( 5 ) 网络支持 l i n u x 是首先实现t c p i p 协议栈的操作系统，其内核结构具有完整的网络功能， 提供对百兆千兆的以太网及无线网络、令牌环和光纤的支持，广泛应用于需要网络支 持的嵌入式设备。 2 3 3 嵌入式lin u x 内核裁剪 2 3 3 。1下载交叉编译器及l i n u x 内核 嵌入式软件开发所采用的编译为交叉编译，所谓交叉编译就是在一个平台上生成 可以在另一个平台上执行的代码。一般把进行交叉编译的主机称为宿主机，即为普通 计算机，而把程序实际运行环境称为目标机，也就是开发板，克服了不同c p u 系统 间程序移植问题。 从邱：邱a r m 1 i n u x o r g u k p u b a r m l i n u x t o o l e h a i n e r o s s 一3 4 4 t a r g z 下载交叉编译 器，并将其拷贝至u u s r l o