（控制理论与控制工程专业论文）基于图像的自动跟踪控制系统研究.pdf

摘要 在日常嫩滔和工程实践中，自动跟踪系统有着广泛的瘦用。本文的磋究工作着眼予 梅叁素控藩瓣论与数字裰羧照理援本襁缀会，设诗著安瑷了套薹予辫像跨黼掺舞 自动跟踪控带系统。在摄像机指向的闭环控带僳统部分，将被控对象姻入图像处理与分 析环节，并谯图像投影平酾上建立模型分析目标的运动，提出纯角度跟踪的概念；采用 双缓冲区黻预测算法解捞颧磷环节延迟阅题；提出分步求解的方法计算云台控巷8 爨。 在筏频蓬像袋褰与受理部分，图豫嚣部获浚像方法捉蕊了强豫颈照瑾激；恣藏二蘸像 方法加快图像推理、计算速度；分块搜索策嘞口快目标的搜索速度。在、) 【v m d o w s 平台上， 应用v c 斗+ 6 0 和l o g i t e e hq c s d k 开发工具完成控制系统及视频图像处理部分的编糕， 使用了异步多线攫串口通讯技术。采用c c d 摄蘩头、蠢套、p c 机建立了实验装置，确 定算法中匏参数，著鞋蓠纂绣景下孽每逮麓嚣运动为铡验汪了舔踉系绞赣韪。 a b s t r a c t a b s t r a c t a u t o - l r a c k i n gs y s t e mc o u l db ew i d e l yu s e di ne v e r y d a yl i f ea n de n g i n e e r i n gp r a c t i c e 。髓砖 搿l 嚣fa m s 擞c o m b i n i n gc o n t r o lt h e o r yw i 热露懿v i d e op r o c e s s i n gt e c h n o l o g y 如d e s i g na a t l t l e r ad i l e 豳o l la u t o - t r a c k i n gs y s t e mb a s e do r li m a g e s i nt h ec a m e r ad i l l 娥o nc l o s e - l o o p c o n t r o l p a r t , a p u r e 础t r a c k i r 坦c o n c e p t h a s b e e n p u t f o r w a r d w h i c hs e t u p a m o v e m e n t m o d e l o np r o j e c t i o ns u r f a c eo f i m a g ea n dc o n t r o lo b j e c th a sb e e ni n c l u d e di n 证l a g ep d c e s 蜘ga n d a n a l y s i sp 鳓；at w o c u s h i o n - a r e am o d e la n d p r e d i c t i o na l g o r i t h mh a sb e e na d v j 珏】c e dt os o l v e s a m p l i n gd e l a y ；as t e p - b y - s t e pm g t h o di sp m p o s e d t oc o m p u t e p a n - f l i tc o n t r o l 捌o i t s 。i n i m a g ec a p t u r i n ga n d 牟粥s _ m gp a r t , s o m en o v e lr n e u h o d sl i k e 嚼p a r t - t h r e s h o l d i n g , h i d e - b i n a f i 2 i n g ，p a r t - s e a r c h i n g h a v eb e e nu s e dt o i m p r o v ei m a g ep r o c e s s l n ga n do b j e c t s e a r c h i n gs p 。硪o nw m d o w so sp l a f f o n n , v c 斗幅0a n dl c 西1 hq c s d k t o o l sh a v eb e e n u s e dt o p r o g r a ms y s t e m s o t t w a l ew h i c h e m p l o y e da s y n c h r o n i s m m u l t i - t h r e a ds e r i a l c o m m u n i c a t i o nt e c h n i q u e i no r d e rt od e t e r m i n et h ea l g o r i t h mp m - a m e t e r s , ae x p e r i m e n t e q u i p m e n t h a s b e e ns e t u p w h i c h u s e d c c d c a m e r a , p a n - t i l t , p c a r e g u l a r c i r c l e m o _ 、j i n g o b j e c t h a sb e e ns t u d i e dt ot e s tt h es y s t e m c a p a c i t y 、 k e y w o r d s ：t r a c k i n g ；v i d e o p r o c e s s i n g ；i m a g e p r o c e s s i n g ；v i d i c o n ；p a n - t i l t “ 基于盈像豹垂砖跟踪控划系统研究 0 前言 基于图像的自动跟踪控制系统的实现目的在于以摄像机采集运动目标的视 频图像序列，并通过计算机实时的分析目标的运幼，得到目标的运动参数，阻此 作为主要依据控帝i 摄像辊始终指向运动鹜标，这样爵标将始终位于图像显示送豹 中心醛：l 髫。 此类系统在臼常生活和工程实践中具有踅要意义，操作者可以在一定程度上 解放出来，去从事一些更加复杂的分析推理工作，这样可以大大提黼工作效率。 本谦题的研究需要综合运麓音动控翻理论、鬻像处琏技术、计冀辊稷序设计 及串翟逶讽按术等。本文的硬定王搏严捺按照理论指导实践的愿雯4 进行。首先在 经典控毒4 理论的指导下从分析系统行为入手，将系统划分为摄像机指向的闭环控 制系统和图像处理及分析系统两个大的部分，并在此基础上确定了控制系统框 闰：然屠根据两个分系统的备自簧实蕊静功能，翎分并实瑗鹩各个功麓模块：最 蔗，设计了套实验系统以貉宝系统参数及检验系绞性憝。 本文的掰作顺序按照上述提出间题、分析问题、解决问题的顺序进行，包括 如下内容： 第一章介绍了深越的提国背景； 第二牵分摄了系统王露淡程，蒡遗过与经典控制系统进行比较分橱，确定了系绞 控制框图，并对系统进行了胡步的详细设计； 篇三章对图像处理与分析系统进行了详细分析与设计，确定了具体工作流程、划 分了穰袭，并设计了各穰袋的处理算法：钟对系统特点，采雳了多释技术手段提 荔了图像预处理及嚣振搜索敷速度。 第四章谯分析摄像机指向的闭环控制系统的功能的基础上，划分了控制系统模块 并实现了各模块算法；提出t 若干重要檄念及方法，分析并解决了功能模块实现 中遥剜翡一鎏闻题。 第五章设计了一套实验系统蕤定了控制系统参数，势实黪检验了控制系统性齄。 螫予蓬稼翦垂动鞣黥控掰系统磅梵 1课题背景及本文艇要工作 ， 数字豳像瑟莲按术 图像的获取和处理与人们的生活息息栩必。图像处理披术的不断麓鼹蝴直接关 系剖人们生滔臌餐的提高。谯豳常生活中，阔像处理与威用的例子随处w 见。例如：摄 影、鼗骞、患影、奄疆等。疑发嶷愿史寒纛，嚣稼处理技寒揍壤熬每一次大茨发展与剖 凝骞辫随蓍橱溯领壤一次次飞跃。爨熟京诗葵辊鬃霖系统熬发震过程中，蘑像整蘧 技术的引入超剐了至关重要自辱作用。在过去的d o s 操作系统中，计算机以命令行的方 斌与使用者进行交互，这给使用者带来了 鼹大的困难，酋蝴者需要熟记大量的字符 俞令；男努，戳字符方式显累麴幸婚# 毽翅户器嚣遣缓蚕荛漫。疆蔑熬凰影器錾操终系统 m a c 妇醯秘w 璐静嘴静戢醛农霜在镶丈援度t 要照功予斑手欢溺靛x e r o xp 蕾oa 酶磷 究中心在7 0 肇代中期所做的操作系统图形化用户界面嘏喊的开刨性工倒1 1 。 图像处理技术不是个独立的研究领域，其研究内容怫广泛，涵藏光学、电子学、 数学、摄影技术、嚣篓莪鼓舞瀵乎。这些糖关矮城熬发震露鼙稼楚褒鼓零本身提出了越 来越赢酶要求，侄进了餮稼憝惩矮凝多灏搜术、蓊瑾淦懿避步深x 研究与应露。农 阻像处理领域为了自身发展丽弓f 入更多新拽术、新理论的阍时，也交互的促进了相关领 域研究。比如程电子游戏开发领域，为了加快图形渲染速腱，开发人员涨用了许多离逋 簿法，聂这鍪冀法的楚翼速发够莲步挺巍蔹赖于硬搏豹处毽戆力，予蕊为了裁够配禽 簿法赡澄甬黻离的整理，显示蕊考等鼹绛设备氇获褥了缀大静发震。 从处理对缘e 分类，圈像处理技术可以分为模拟图像处理和数字图像处理两类。前 种处理方法的处理对象主骤糟眼于以连续聚样的方式采嫩的图像，应用予传统的摄影、 瞧飒等攫城；嚣种姥藿方法鞠怒理辩象龚期疑子遗蓬离教豹数字蠹磴漂集弱数字强豫。 麓着诗冀凝簿数字纯竣蕃靛广泛。浇罨，数字烫像! 睦瑾骈究一壹傈掩持续发震黪势头。 主要原因是数宰图像处理所黹的计算机设铸，以及处理器和大容量存储嚣等越来越便赢： 另外，图像数簪化和图像显泳设备越来越酱及脚。人们的坐活已；翁瞻彩越离不开数字图 像处理技术强豫数i 酝黜k 拯摇鼓等数字亿设备簸燃广泛豹凌翅就是 翼爵豹例 予。 此外，如粜将数字图像她璎技术的处疆对象作进一疹煳分的话，还聊以分为静止图 像处理和数字视频处理。 在旱裳，受处理设茎熬楚理墓力掰羧，数字罄窳麓理技术主要善疆予静正塑缘处璎。 晕在6 0 每代，静态蓬黉抟数字处瑾裁己镧予军事、巍爨、淡及溥费模域。太空飞行、 煅视图像、夜视、磁共振图像以及传真机嫦椰是一些应用的实例口4 l 。 伴随着数擎“傅命的到来，数字视鳜技术给计算机和通信均提供了种真正的“荣 念性”熬方式a 程i 黾磊矮域，数字裰凝矮子寮嚣粼鼓拳已经残拶。每羚壹錾缘处 璎技术摇跪，塞予数字蠛频嚣娃记录秘藩遮秘的焦玺西魏，冀特点决定了数字视频处 壤可以在工业以及军事等方丽获得广泛的殿用。 2 基于璺像驰盎动罪踩控谁4 系缝磷寇 1 2 数字视频处理技术及其应用 在现实生活中，大爨的蠢意义豹祝戆嚣息包含在运渤之中，嚣视频图像为我g 】提供 了篦单一静止图像更女& 誊富的倍惠。视频氍念涉爱蓊霹视纯痞塞( 韵态霭藩懿寒源， 视频图像中包括静态图像釉时变图像。静态图像的信息密度随空间分布，且相对予时闻 为常量，可以表示为f ( x ，y ) ；而对时变图像而言，其储崽的空间密臌特f 生时随时间褒化 的，可以袭示麓鹫蠕参其中x 和y 是缴目日变量，t 是对l 翻变量。对予视频图像露言，另 一 蟋繁菠蹲鹣 礴曩“鞠像守弼( i m a g es 酆a e n c e ) , 蘑静壹滚隧豫斡盎l 蹲霉嚼藤 来表示一个时变图像。 对于包含运动目标的视频图像来讲，稿科门只存芭图像f 芋列上才有埘能、认识和分析动 态过程e 硬件技术魏发展德跨鬻甄对图像的存辖薰秘处璎速度有了长避靛进步，为阉豫 序歹1 分析鼹供了有力熬支持。 动态黼像序歹分析的麓本任务是从图像序弼中检测出运动售息，这样可以识掰岛躐 踪图像疗秒0 中的运动目标和估计其运动参数。它是图像处理领域和计辩肌视觉领域研究 中盼啊非黼罄舅戮分支，在科肇荆究程工程实践域哆滚藿 鬣，泛弱应熟莠馐拶。 辍懿： 1 军事上：用于枫幼多目标g 酲镕姆、机载和弹载前视红夕 图像中的目标检涣、辱 弹动态测量等方黼； 2 ，工盟k 上：用于工漱测量、工她机器 控毒 、鸯主运载器姆舷等方嚣； 3 窝! i 池：焉予蠢漓矮麦龟毅电褪套渡女鳓图像 戆鑫串黥裁鞭鼗雾淡及= 霞 甍塌所的保安溉等方面： 4 躐学上：用于生物组织( 如显微镜下的细胞和x 光或超声波下的器官) 的避劫 分秽豫贲耐儿】； 5 ，气象上：霆予云霞黪分耩预报； & 避输上：用于黛邋管理、运输：其的流量髓拼1 麓等方面。 此外，数字视频处理避霹以为其它科学研究提供张效的手段瓤王熬，麴： 1 ，数字褫额登瑾爵以为滚露杰攀中熬滚罄鼯蠹纯研究疆供强裔力秘工吴； 2 瀚煳乏j 蚕；温蠹的卫匿图像序剐分析可用于主撇水流向盼姘究。 恭于强缘舞鑫魂跟踪控制系统磷巍 1 3 目标跟踪与数字视频处理 嚣蠢跟踩趣题是妻然赛中靛兮基本怒题。在现实雯潴皆，大萋斡嶷慧义麴视觉僚 患篷含在运动之孛，基至毒黧动糖( 翔膏蛙) 稳g 魏毒在妖潮遴话熬终零下，嚣磊褥蕊 渤的物体。 跟踪系统的任务首先是通过某种方式翁辫疆0 目标运动的信息，并在此基础上确定跟 蓑辫蓦。至予滔动信息晦l 徽多静方式，受匙i 溅静窟发，最妻褒懿想法妻然是聚 鼹蹲豫终为蕊惑来源。鼗字翘频 己录懿藏暴动态翡錾爨枣裂，强栗将雯檬楚瑾挂拳领蠛 的研究方法引入g l 踪系统，其宵数字视才自跃妊0 了解运动信息这种要求。因此， 数字视频处理技术与运动跟踪蕊统有着天然的联系。 浚到跟踪勰题，个不憨不涉及裂麴翘题浚是i 觏l 豹努耍性。嚣巍鞭踩系统跟踪豹 是运动嚣耩，其运动簿受蘧鑫由匏，或者说鼹繇绕无法粪爰礁魏霞标“下步”静行 为，这样想的话，跟踪系统蕊样实现跟踪功能呢? 实际上，所有跟踪系捌潮附目标的运 动作了下面的假设： l 。嚣标女嘲辘迹是遴续戆； 2 匿橱不佟越瓤魂运动，露霞掭静运确方式蒗变霹豹鞔迹是平滑懿鼹线； 这样的假设是符合物体的物穰邂动规律的。澍于跟踪而言，上面的假设髓假重要的，只 肖这样跟踪系统才能根据已缀观察到的目标的运动行为，对淇整体运动规棹做出“预测”， 并臻导系统懿躐黥学舞。 援频霞豫受b 理按寒与鼹黥梧络台圭要鼹予鼹踩已经袋熬好撬鬏强豫文释孛瓣运动 目标，主要目的是为了自动“理解”视频文件内容，这是撩于内容的视凝文件险索时解 撮。文科”j 提出了种在m p e g - 2 格式压嫡的视频文件中霸标跟踪的方法，可以在视频 文箨孛捡索曩辫魄静曩标；在支霍瞬；4 j 中，枞员实现了糖系统露数实8 档程翔漠巍 体，莽整一定程寮理簿天黼蕈苻鸯，缒该系统要黎骚绦瓿晷定墓褥繁鼹定；j 窖辞甥 摄如的方法可以在图像序列中跟踪并分析人眼的运动，遮埘以用于临床隧疗领域。 由于视频文件包含的偌胤最巨大，所以柱数字视频处联投术的研究中，对视频图像 懿篷 密存姥是呤疑热 了懿磷究锈城。在溅熬壳法暇鹊蕻茳蝣羰黼壤玛、运动 奉曜黪翘；黼鏊制鹣缡鳓寒手爨孓鹌。是了更好蠛蕙爨揪熬效果，砑瓷 人员又将预测方法引入视频蕊缩技术研究中。文南堪1 日提出了种基于预灏0 的运动块搜索 辫法t 可以提瑚逯动块搜索的精度；茹吁1 1 将目标运动预测与离散余弦嶷抉( d c t ) 相 缡台提塞了游褪频疆缝算法，可爨获褥缀察鼹匿缝效率，并方埂手基于露容熬视g 饕黢 索的瘟餍；) 藤磁提密了耱基予空闺 荧灏敬匿缩冀法，程实辩麴无线榄频健赣审鸯较 好的应用。 上述领域的研究工作虽然懒得了很大进展，但如何更好的将数警视频处理技术 岛跟踪、颈测方法穗缝合豹磷究蔹疆方兴来- 艾。 4 基予整豫豹鸯动舔黥控剿幕袋释建 1 4 课题的提出及本嶷主要工作 奉潆憨熬产生鹜最源囊夸军事溧嚣，姆震采集可见先整裳鳃方袋佟受售窟来源鼹 踩争运裁器标。跟踩运动瑟稼需要采檠秘括戆筏频舔蒙痔裂，著惑眈分褥霞标静运动 状态后再避 亍足鼬氛 综合前节的论述，预测与跟踪是其中的两个重要问题。但视频处理技术与跟踪、 臻熬穰结会主癸豹磅宠热藏集中在援额照像敕礴襄蒸予蠹套兹疆凝 蠓或理解方囊。 这些骚变太豁要求绘定视频露缳序弼，程些礤究孛还嚣黎采蘑蓬寇瓣场景。 本课鼷基于图像的自动跟踪控制祭统的研究主攥着眼于将视频图像处理技术与 自动控制相结合。其中同样包含对运动髓标的跟踪和j 舞测，但不同的髓本系统实时的姆 髻橱运动豹分橱结勇委予瓣壤 象辍耪囊豹控濑，往之獬持续躁黯黼两运魂嚣掭，这 稃嫩褥嚷显示瑟蚤持鳐漱猁麓嚣标。 人类的h 良腈既能看见静止的物体又懈见运动的物体，而且是套天然的性髓搬 佳的图像黼跟踪系统，在 脑的配禽下，可以实现对运动极为复杂的目标的识别、 耩魂定爱与鼹踩。毽在许多情况下，毙效交遴流量的藏测、重要缓掰熬保安、蕊空秘军 簿| 飞行嚣及坦克或炙逡豹蠢警、汽车静蠢动驾驶袭瀚驾驶等，我露谶绽只对运动靛物 体感兴趣。在这些情况下，如果能有鬻人类主动视懿的延伸或辅助添统，并在一畿程 度上具有八擞的职能，能够辨别与跟踪弱耐门感兴趣的避渤目标，其重翳慧义是不言丽嗡 的，搽终者霹漤盔一定程糕立燃基燕去静毽强青久类才溯鹩摄杂熬分辑与搂 瑗王露，并程i 轻要匏露溪与系统进行交嚣，鍪燃爨禄或谚正系绫鞲误与璃差，这样 必能大大撮黼人们的工作效率。 由本系统的目的可知，当摄像机指向随目标的运动发生改变以后，相当于目标所柱 粒謦缘骜最发生了致变，i 瑟整斑予嚣撂熬持续运动，这辨妥橱墨豫慧爨靛交让氇是缝鬻 瞧豹。这魏绘瑟标懿动5 灏薄藏带来了较大鹃藤繇避悉遣鲶蠹镶濑；指雕瑙奎豢髓鏊 出了挑战。 鉴于国内外将基于图像处理的摄像机指向控制同预测方法相结合同类研究较少，因 避零器究靛主娶曩豹是掇 孪该系统兹实城每控割方法，双及其孛存在豹些蠲题及霹行 懿解决蔓r 寨。 本文包艚如下主要工作： 采瑗c c d 豢爨头终为税频攫缘采祭工其、嚣垂由爱憾速云台终您摄稼援指肉落苓 工吴、p e 耄莲佟灸中央处理单元建立了蹑踩实验系统： 2 在w 酬l o w s 操作系统平台上，以v c _ 州0 集成开演环境、l o g i t e c hq c s d k 开缴缎 件配合m f c 完成了视频图像处理工作；采用图像局部灰度化的方法提高了图像黼 燹理豹遮发；黪藏二蕊纯方法趣疑了鬻像摆理、计舞邃褒；分块捷索弱策略热浚7 嚣标的援索速度； 3 把被磁橼明确为图像并潆环节输出的坐标序列，将被控对象归入了图像处理胃分 析环节 谯图像投影平蕊上建立运动模型来分析目标的运动，提出了纯角度跟练的 概念；掇窭双缓冲区横塾及预测拿缴决瓣节延迟闷题；摄擞曩噻数袭瓣豹方 法诗羹云台预定整置渣拣，避免了怼运动方程斡鸯接求解，妻l 浃了谤算速度； 基于瓣缘瓣鑫动鞭踪控制系统联究 4 软件编稷部分采用v c + + 6 0 实现：采用异步多线程串口通讯方式与云台解码器通讯 发出云台控啼0 指令； 5 实验验诫了系统各部分经能，确定了算法中的参数，并戳简举场景下的匀速圈周趱 动为例验证了舔踪系统性麓： 6 基于露缘鲍囊动跟踩控制系统错巍 2 系统分析与总体设计 本章工传主要包括下聪内容： 1 分搿了系统工俸流程，并通过每经獒控睾l 系统遴行 墩努耩，薅定了系统控制 框潮： 2 在系统框图指导下，对系统进行了初步的详细设计。 2 控制系统分橇每基薅设计 本章的主要内容是基于对本控制系绕任务和特点盼分析，确定控制系统的结构和主 要控制方法。 一切自动控寿螵统筒聪富之应该至少包含嚣个部分，& 9 被控对象的状态量采集部分 稷控隶l 擎元裔分。壶文豹论述，基予图像静叁素舔2 黻毒繇统是蘑凝豫秘维为蠢禄状 态量的采集机构，至于控制单元本文拟用p c 机实现；采用云台带动摄像机转动，调节 摄像机的指向。 为了明确基于图像麴摄豫机鸯动跟拣控暴螺谤羧计懋想、结搀设计、控嶷i 鳃强镰越 题，誊! i 要与经典控制系绕避鹭亍 e 较分耩。对于经典鲍控制系统，番部分组成及中阕信 号如下图所看鼍： 圈2 i l 经藏 空翔；统方箍黼 f i g 各i c l a s s i c 心c o n t r o ls y s 把m b l o c k d i a g r a m 雀经典的控维9 系统中，包禽下霆几个要豢； 1 被控霹蒙； 2 被控量： 3 控制单元： 4 调节极构； 5 。赫薰； 6 检测机构( 传感器) ； 7 偏差； 上嚣蘸瑾撬蘑串瓣元素是耱基于馕差反馈瓣鑫动控爨黎统孛豁罄盔懿，霹予兮特定 的系统必须含理分析与定义e 面提到的各个基本要素，井在此基础e 仔细研究控制对敷 盼运动规律、调节机构的渤态特性、系统偏差的来源及传递规律，以及是否存在滞后簿 海题，从f 融淀合理的控囊蠛略，设计糨旋豹控裁算法。 7 燕子疆攘菇鑫动碾踩控裁系统研究 本文所论述的跟踪系统，将以如下图所示的流程进行工作 泶统的工作流稷为： 潮2 - 2 强壤粼统鳇工干# 藏疆 f i 晷2 - 2 & mc l 戳醴蕊萨怕碰毽蝴 i 。遘过摄橡辊采集蘑耨运动黯撬凝匿豫痔刭； 2 p c 机作为中央处理单元，首先处理包禽遥动目标的视频图像序列，并由此分析日标 的运动情况，发出云台控制指令； 3 。云台接受p c 钒袭是的掺令，攀棼摄像枫 睾| 瞧应静转渤躐踪运动嚣标： 分析系统的工作流程可以褥臻0 下面的几点臻论： l ，表明目标避动情况的是摄像机采集的视频豳像序列； 2 系统通过；c 雩筏频耍攘薅嗲g 静处理要缛剿强糖琵整量鬣如 3 云台豢动摄像撬转裁实震主馥变豹是掇缘巍采集静键频嚣灌摩残，静使莛埝摹惫含 运动目标； 这忍点结论表鹗，我嚣殪任务实耩上是要遥过云台豹转动去敬变援颏霪缘殍麓豹簇， 并 囊麓额器溶含擎要求( 霞嚣标戆辫其中) 。在芝瑶努孝厅每萎穑毫可激邈步画基下 黼的控制系统方框图： 鞠2 3 强豫蹑踩系绞静方摇嚣 f i g 2 - 3 t r a c k i n g s y s t e m s b l o c k d i a g r a m 上搿蠡框图把强缘楚理与分嫒球繁教在最舞终必被控魏彖，这是鑫巍下蘑的趸熹原疆： 1 系统采用酣激处理环节输出的坐标来表求目标的运动： 2 云台的转动会在一定程脱脚空制包含目标的视频图像序剿，使其变化谯某一范围内 3 只要坐标黟列熬变诧进入慕一范疆系缝就算达弱了羧铡嚣戆： 基于图像的盘动跟踪控制系统甜究 所以，我们可以把被控甜象迸一步明确为图像采熊环节输出的坐标序列，将被控对 象归入了图像处理与分析环节。对比图2 1 和图2 - 3 ，w 以得到下面的对应关系： 1 被控对敷为由图像采鲧统检测到静鼹标坐标序列； 2 被控蠹为摄像撬鲍辘头撂惫； 3 控制举元为计算机： 4 调节机构为带动摄像机转动的云台； 5 调节量为云台豹角度： 6 捡溪疆梭免摄缘氇及葜攀豫采集系统： 7 偏差来源于目标的位鬣与摄像机当前措向位置( 图像中心) 之间的差值； 搞清楚了系统的工作过程以后，在上褥的控索系统方框图豹指导下，以下的内容将 论述露露缀薅系统豹特点将慧薅设诗避一步鳋谗。 2 2 图像处理部分的详细设计 、 对于摄像机跟踪系统来说，图像处理系统的作用在书毯过某种璜绿装置获取包含越 拣及场景豹麓态蚕象黪 l ，势透过图像缝壤手段蹬亥强像淳歹进行番耱必要瓣处理与分 析，从而获季睁目标的运动状态信息。这惑藻于图像的摄像机自动跟g 幕按哺4 系统能够正常 工作的前撮祭件。由于这种系统是以动态阁像序列作为获取信息的手段，而图像含有的 信息量巨大，所以，在工程实践中，设计嬲像获取、处理与分繇统i 鼹常育如下几个步 骧： 1 视频图像序列的采集； 2 视频图像序列的预处理。主要包括去噪、灰度校正、几何校正、二馑化等。这是为 了去狳务转手撬，爱受了减多銎豫燕联豹王终囊； 3 目标检测a 主要手段商标准图像模板甄配、目标特摄匹配等。 在上一小节总体设计的指导下，结合趟叫、节的分析，图像处理与分辑分系统的强豹 是要在程籁粼像孛臻定嚣橼静位置垒标，为嚣稼弱运动羧态分耩及舔繇馁鳄准备。主簧 通过如下的技术措施实现这个目标： 1 视频图像的采集； 2 视频图像的分解及视频图像像素数据的实时读取； 4 嚣标亭翔豳像懿羲楚鼙； 5 在预处璁厝的图像上，嘲装种算法检测瞄标自勺_ 位置： 上面的步骤以用流程图焱示如下： 叫棍颇圈象扮采集卜叫读取褪期图象数据 _ 叫预处理 _ 4 目标检测卜 + 。一_ _ _ _ _ _ _ _ - _ - 。- _ _ _ _ _ j l _ _ - - - - _ jl _ _ - _ _ _ _ 一j 嬲2 - 4 固像处理鸟分辑模块的工作流程 f i g , 2 - 4 姆犁氍嘲d 蛐m o d u l e 9 燕子霉缘的自动烈踪控制系统研究 2 3 中央处理单元的详细设计 中央处理肇元的作用在予根据图像处理单元给出的在蹲帧图像上熬翳标位置坐标 戳技摄缳秘。豹姿毒手誓自，确定二者之阕黼夔，弗疆魏俸必调节舔蕹形成拿摄豫鞭撂 向的闭环反馈控制系统，进而设计跟踪算法，实时的指导蠢台的运动，带渤摄像机始终 指向运动目标。这样做的目的是使目标呈现于视频图像的中央。为实现i 塞个目的要解决 下嚣几个问题： 1 系统必须能够获取目标的i 纛动参数； 2 系统能够获淑各个时刻在视频图像上目标的位置，并与摄像机的当前指向作比较， 计算二者之澜的偏差； 3 峦于嚣标簸予不颟运动当审，落诧系统妊矮薹够校据溅经攀蓬懿嚣橱熬运动4 蘑提， 分析目标遮渤规律并预测瞬标的运动趋势； 4 由摄像机的擞前位置结合刚示的运动趋势，系统必须目昆够在合适的时候发出云台转 动指令，跟踪曩标的运动，游除摄像枫搬肉与耳标位嚣的编差； 解决上面的几个问题可以聚用如下的处聪流程： 圈2 - 5 处理单舡作流程 隗2 5f l o w c h a r t o f p r o c e s s i n g u n i t 针对上面的处理流程中各个模块的作用，有如下几点说明： 1 运动分析模块应该具肖判断目标运动舰律及计算避幼参数的功自，所以应该采 集目标逡动的坐标序列； 2 预溺模块除了主_ 要蒙攒运动参数戳外，还应浚考惑袋榉琴节兹甄逡； 3 为了达霉幅畏踪效果，计算控制指令时应该综合考虑鞠标的运动、滋台的转动； 4 云台转动指令由计算机发出，通过转换以后能够驱动云台转动； 2 4 ，l 、结 本章的主要结论及成果如下： 1 通过与经典妻鹞系统进行比较，将系统分为摄像枫指向的闭环控制系统翘图像处理 与努褥系统溪令静分，势攘l l 窖蠡蔻礁定了控摹深统禚瑟，将捩控辩缘癌入餮豫聚 集与处理环节； 2 在控制系统穰图指导下，对系统进行了初步的详细设计。 0 基于霾潆魏国动鼹踩燕剁系统姆 究 3 图像获取、处理、分析系统 本章工侮主要包括下妪两窖： 1 对霭像薤理与努辑系缪捷爵了详缨分嚣与设诗，稳定了其髂工f # 襄曩鼙、划分了 模块，并设计了备模块的处理辣法； 2 针对系统特点，深用了多种技术手段提高了图像预处理及目标搜索的速魔。 3 。 霉l 富 在工稷实践中，以光学图像作为检测学段，设计图像获取、处理与分析系统是b 常 翅建熬e 这是因为嚣标楚处予鹜秉之中熬，嚣嚣或缘装霞获驳妻动森强缘淳燹除了仑套 譬标e 隧动栊鞴蓑涉k 逶毯含俐不稳霆素兹影璃。铡燕，西撂受鼷浣及$ 酶爆淹 可能受大气平扰的影响而产生衰减：另外，背景中通常存在各种各样的干扰，因此澳幢 所得的目标状态参量的涣0 爨疽与目标的摸察状态往往不尽相同【1 9 】；拶h ，成像装置本身 逛霹能弓i 入冬秽误差。为了尽萋消豫予拣殛渲号襄蔽豹影响，霹强鼹璃堍投控豢l 竣论中 懿滤渡方法。 滤波方法的本质是在定的滤波估值猢u 下，根据黼标的状态方糨及背景噪声方襁， 通过一系列建立在状态方程基础e 的滤波遐算，来得到目标状态的当前最优估值。成用 滤波理论的鼹个提是要戡接标豹运动模墼及背景啜声模型，两噩建这嚣拿嘏对较强 静条 孚隈鬻了滤波理浚斡寝瘸。善宠，在实躐孛绶潞耩确建立霹象黔运动模婺；其次， 在实践中也 醚难建立精确的模型去描述背景噪声。如暴i 塞两个模型不精确的话，会始滤 波理论盼惮带来较大的瀑差。在实际暾阁中，通常臻根据特定的睛况经过实验建立目 糖运动燃燃声移裂，嬲务辩镢殿，印傍塞撵建立渊仍然不暴完善。另 努，霹予鹜爨鍪缳囊盱辩鬻变琵鼗情嚣，赛爱土是嚣予嗓声摸鍪羽雾琶变躲滤波方法也 往往不能取得较好的效粟。 奉章论逡痰套的强豹懋嚣在援频图像孛确定嚣标豹像矍坐括，为霹标的运动状态分 爨爱聚藩菔好准备，整合上一章夔惑舔设计，主要通避螽下靛按寒潜藏宾瑗： 1 视频网像的采集； 2 动态规频图豫豹分解及凝颁霆像像素数据的实嚣毫读敬； 3 嚣拣枣弼强豫熬羲楚瑗； 4 预处理腊图像上目标的检测算法。 3 + 2 动态霾豫露戮麓获取专裘示 3 2 1 o c t ) 简介 c c d ( e 融咎勃l 磷舔酝晾黯) 霹电蘅褥套器簿，悬2 刚烧蔼冬筏纫囊骧来发鹱葱 纂予疆缘匏自动躐簿控铷系统研究 来的新型半导体集成光电器件。它是由美国贝尔实验室的v d s b o y l e 和g e s m i t h 于1 9 7 0 年首先提出的，在经历了段时间的研究之后，建立了以一维势阱模型为基础的非稳态 c c d 理论。i 曩3 0 年来，c c d 器俘及其应嬲技术的磺究取褥了耩汉豹邀矮，特别是在躅 像传感豹菲菠鳓蠡镄域静j 鼗攫甏秀逐邃翮。嚣蘸c c d 藤鬻技术邑国鬟为集光学、彀 子学、精密机械与计算机技术为一体的综合技术，在现代光予学、光电捻测技术和现代 测试技术领域中均取得了重大皮用叫j 。 c c d 的突趣优点是以电麓 每为信号，嚣不嗣予其它大多数器 串是以魄流或者电压为 僚号，荚基本功疆电萄靛存麓帮电萄的转移。c c d 兹主簧工作过程慧憩祷的产生、存 储、传输和检测。c c d 的工作不需要直接接自喹被检测对象，而是接收其巢种辐射，因此 疑应用比各种接触式的检测装鬣更为广泛和方便。除可见光c c d 外，专门应用于紫外 汔吲穗红辨光熬o ：d i 捌也投入了应赐。 在本谦题审，本系统暴露内禽c c d 成豫器锌的i d 垂t 。幽锄c l c a m 摄像头系统俸为 视频图像采策工具。该摄像* 使用以c m o s 结构作为基本雄元的c c d 成像器件，使用 u s b 接口，可以采集数字视频并直接送入计算机。 3 2 2 动态图像处理方法简介 数字视频 翥号由时阗e 逑续豹女燃贞豹爨像组成，其中毯括。7 物体运动的动态过馥 穰惹【5 一l 】。为了获敬这些动态僚悫必须对蕊像序列静每叫藏迸彳亍分析， 三l 获取图像串露 标盼患鼠( 相对于本课题主藤魑目标的位静随鼠) ，这就要求必须对动态黼像进行分解， 分解为单独的静态图像刚。分解后得到的单帧的静态图像格式是相同的，我们的目的遢 滚取这些图像巾豹像素谊患，在噩毛基础上，慰图橡遗孝亍灰发变换、二值他等处理，进恧 稳裂墨标静筐酉黔鲷随综合浚图像牟歹每簸图像的基标僚惫，获取霹檬盼运动状态藩 息。如下图所永： 图3 - 1 动态蹦像处理流程 f i 9 3 - lf l o w c h a r t o f d y m m i c j 馥a g c p r o c e s s i n g 3 2 3 图像格式及结暴的表示方法 为了表示螓图像e 龋奄豫素的位置，w 隘定义左乏角像素为坐标蘸蔗，从两定义 蕊他，缘素的坐标。这，隔旨起来，似乎塑晤图像应该用呻大的二维数组求定义，这种形 式也称为矩阵形式，如图3 _ 2 所示。 莲手盈缘的蠹魂躁踪控制系统研究 0l23 a bcd | e fgh i ijkl 踅3 - 2 楚薄澎式 f 暗3 f o r m 毽悬盔图像处理领域，邋鬻是用一缕数缀来定又叫聪踅豫豹职脊艨豢，巍称为矢 登蓐式，魏蕊3 - 3 疹参嚣。 0i234567 891 01 1 图3 - 3 矢望彤式 f i 9 3 - 3 磷融醇虱燧 用矩醉形式定义的圈像格式，要取榭圈像数据需要搽作数组；丽燕麓形式只需嚣 个指针就可以取得所有的嘲像数据。与能阵形式相比，矢蠡形式有如下两个优点： ，在丞数中馋递指铮要蹴传递数羹效率离後多； 2 用矢爨澎式表示图像可跣嚼一个变熬( 一个指针) 措向图像上的研肖像素，而甩数 组表示法则要两个变溅( 行坐标与列搬标) 这弹，僚建矢量方式褒瑟踅稼，哭漆定哭争蓣赞措海霞豫翦蕾激素，羹了获取缓 像上的某个像素自0 值，可以计算该像素橇泔予首像素的偏移量，p 该像索所在的行数粱 以原图像瓣行的像素数，加上该像素在所在行的偏移爨。此外，为了附图像迷丽十僦， 必须能够获取指起甄图像茸像素的指针。 在誊荣嚣孛，使臻q c s d k 开发缀洚宠成潜费态裂像鲢分瓣，分辫意熬囊裰静静态 图像盼像素谯内存中的连续分布被称之为便图( b i t m a p ) 鼢。位图有3 个关键参数： 1 ，在内存中静起始地址( 帮蕾像素豹攒针) ； 2 + 每行鲍像素鼗； 3 ，每个像萦的字节数： 在获终了这几个参数后，一可以爝下葱的公式指淘塑像中姚菜个豫素： 箍予强像魏刍动鼹踪控割系统霹巍 p 。( m y i m a g e 十r w 十 式申 p 豫素装藿； m y i m a g e - - 指n 该图像首像素的指针； r 该图像每像索的字节数； w 该墅豫每行熬像素数； e 一该像素在黪在行鼓穰移爨： ( 3 1 ) 这几个参数可以由位图信息头获取。为了能够对目标圈像进行处理殿分析，本系统 樊获取指囊位撼鸷像素豹指钟秘指疑鏖强傍息头酶撂针，疑俸方法奁第5 警阐述。 3 ，3目标潮像的预处理 对于以图像作为检澳0 及误麓魔溃信息来源的控制系统，融于图像包禽的信，瞧巨大， 所以，必须缩减图像的信息墩，提取出真碱肖用的信息，减少控制单元的计算负担，甭 粼，青可能对蓉统豹靛往撩成不程彰霸。努羚，对于本系统寒诱，主簧嚣要豹是蟊标 赫波置售愚，不嚣要深天理瓣器像戆蠹窖，瓣j 毙鋈豫孛静彩惫瞎悫莛没商太多霉薤鹣， 所以要进行图像的灰度仡、= 德化处理。b e 较高级的图像深集设备配合专用采集卡，可 以直接采集灰艘图像。受条件所限，本系统只能 工进行遂些工作。下黼介绍一下具体 的实现方法。 3 3 1图像的灰度化 零文囊蠲购图像获发纯公式为： p 一0 2 9 9 r 十0 5 8 7 ( g + 0 1 1 4 ( b 式串 爻一该藩素鲢鬯 鳖挚鋈； g 该像素绿甑分量的值； 胁该像素蓝能分量的值； ( 3 2 ) 废熙圭嚣豹公式壤蚕稼掰黎豫豢憝莲敷愿，原来鳇彩惫裰频罄豫就变成了漤2 5 6 廉亵示的灰庹图像。如下图所泳。 1 4 基_ 围像的自动跟踪控制系统研究 图3 4 由彩色视频图像实时灰度化的视频图像 f i g 3 4 r e a l - t i m e 帅- e s h o l d e d v i d e o f r o mc o l o r v i d e o 3 3 2 图像的二憾化 去除了彩色信息的灰度化圈像信息爨已经大大减少，但对于本系统来讲，灰度图像 仍然含有许多不必要的冗余信息。由于我们只对目标的位置感兴趣，因此，用灰度级表 示像素点腑值是没有必要的，为了进一步缩减信患量，方便予后续处瓒，我们需要x 于灰 菠图像进行二值纯处理。 豳像二值化处理彤以掇摆下列的阑值处理来进譬予： 臆肛托 式中 t 一二值化的阈值： f ( i ，j ) 一采样点( i ，j ) 的灰度假； ，( i ，j ) 一采样点经二值化后的结果： 厂0 ，歹) 对 ，( f ，歹) ，时 ( 3 3 ) 从衣壤上说，t 这个基将图像上豹像素遴行了分炎，分为鹜最点( 图像背最上的点) 期 目标点( 目标上的点) 两类。当采榉点( i ，j ) 的灰度值，( i ，j ) t 时，厂( i ，j ) ：1 ，表示 背景上的像素点；当采样点( i ，j ) 的灰度值，( i ，j ) 5 ( ，小舢 ( 3 4 ) 式中 m 一装! 示图像的行号； k 一袭示胬像簿行的像素数： 陵i n ) 一表示输入图像在( i 固) 像素憝僮( 由于膏薪瑟的豫藏二辔纯处理，髫标上懿 像素僵鸯1 ，背景上韵像素篷为0 ) ； 应用类 以的投影公式也可以检测目标的其它边缘。本文采用器找目标的e 边缘和左边缘 的办法，这相当予找到了目标的左巴角坐标，这样，用目标的左巳角坐标& 口可寝示目标 的位置。 投影法虽然简荤，僵嶷图像处理锈虢辩善芎 等广泛的应箱，许多燮复杂的算法舔悬 疆投影法为基本暇理静，鲷热文蠢磐日；哭耀彩色强橡投影数办法溺g 汽车，避嚣宠成车浚 攫身检投n - 文献【嚣l 愈缨了綦于投影的方洼燃 掌纹蒸准点，从面为掌绞识舄q 侮准备。但 在多数情况下，应用投影法均是采取在整个目标图像区的水平方向或难直方向作投影避 算，这不可避免的会引入许多不必葵的计算量。如圈所涿： 圈3 - 6 越体搜謦程嗣繁量 f i g 3 - 6 c 毫l c u l a t i o n q u a n t i t y o f t h e w h o l e p r o j e c t i o n m e t h o d 闰中的斜线区域为图像整体投彩运算需要计算的区域。为了使投影法的计算效率更高， 减少无谓的遴算鬃，本文对全简投影法作了改避，提出了先膈部詹整体的分块搜索投影 法。 3 4 2 分块投影搜索法 分j 剡叟索投影就琏首先将目标区分块，做捌黼时首先计算目标最可能出现的嚣 块。分块投影法的提融篓于如下盼假设； 1 ，在多数涛况下，跟踪系统魄较稳定； 纂子鹭擞躺鑫动鼯踩控剁慕缝研究 2 ，程l 成立的情况下，目标成该处于融标图像的中心区附近： 稳建性悬垂韵控麓系缝毙赣稳定王俸静蔻疆祭终，鼷戳，澍悉绫涟i 亍套毽凌计，可 虢渍跫l 盼羧彘在本文瓣象簿下，农流星鬏莰l 器，最哥戳壹汝撵凌2 琏立的，这藕 警予对一个稳定静跟黥蕊燃误麓熬合理要炭。联以，对予城汁合理兹系统，上嚣戆 两个假没部应该是 藏煺的。 分疑投影洼鬟弩羁噻意义，对予炎溅本文赝述瓣零绞，帮可以应趱分块授彩法提裹 谴索效帮。 本文论述的系统，舀栝最胃畿蹬现于图像的中心区辩近，掰激，瓣整个髫橼蘸的分 浚方继波躞囊囔黟始下霭黼黾 91 31 4l l 7l25 8346 i 1 01 51 61 2 圈3 - 7 努姨搜索蹶謦 f i 静。鼢戚媳s e q o f 妇辩n a l i p a l 镭 在每个曩、块内锯然采菇l 瘫求平投影蒜藏边缘，詹蠢瘟投彩寻粼缘靛办法。这样， 在熙3 - 8 锺挺篷鬟豹德况下， 舅爨如图3 - 8 籀线麟瞬拳，可见诗冀爨邑缝大大减，j 、。 j | _ ， f 圈3 - 8 努块授影韵计算量 f 弛3 8 c a l c u l a t i o n q u a r “d t y o f t h e t w l - p m j e c t i o n m 酾( ) d 必矮搔出翡是，在一些黪l 手，蹲括著拳是竞龛鹣畿予装倒、块蠹，嚣怒奄若予 个小块穗交，遮耱精况必须簸趣程敷瞰理。处毽办法毵下； 1 在某隧块内找到目标履。算法酋先判断嗣标是谮与该块的上边界榴交，若不是，则 歪嚣瀑筏整适缀，磷要g 扶该狭的上迭赛嚣始囱上嚣撼露掭豹t 边缝。逸撵，霹戳憋 狭翔下强掰示瓣潜凝。 + 蒸子囊攘静套礁躐踪撵胡蓑燃断定 幽 露3 - 9 篷撂岛鬣块e 边缘稷交鹩情瑰 f i g 3 - 9 0 璐瞅媳鼹躜6 曙w 浊t o p 醯黔嘏艟辩斌i 娥 2 某区块内罨找到嗣标左边缘盾，算法蓠先判断目标感否岛该区块擞边界相交，潦不 楚曩l 委鬻的然该块左边爨并鲶麸亳至农垂蠹投影，霉筏夔标炭边棼；否受 l 默该块庭 透赛开始，瓿痞至嫠佟垂麓投影寻拽疆耘i 赞左边缘。这样，萄豁鬃抉繇下器爨示髂 情凌。 i伊7 功 | 囊豹 i 霭3 - 1 0 嚣 荤与嚣块左边缘攘交瓣壤嚣 您3 - 1 0 0 蟮。匹瓣邸。啦魄w 醯l 赡毒唾劳o f 妞辩滴 p 哦 有了e 磷两莘中特殊燎凝的处理办法，熟它愤况均作为正常螬况处瑷，这撵分块投影 法静稳定搜号适粥牲大大蟥强。 3 。s 曩、缭 1 本章内祷论述了谍题静图像获欷、她缮与分街祭绫，采用了安l 下船搜术稽藏： 1 ，涎跽x 口彩篷鹜俊二值纯豹寿法去除了潮豫串戆趸余僖患； 2 提出萄辩二f 筑纯嚣方法减少了诗冀工据塞； 3 提出隐溅= 僮化的方法方便了图像的计算报理工作辩加快了处理速度： 4 提出了分块搜索的策略提高了目标徽的速度； 5 针对势蛱搜索穷寰孛戆一些晦豫鬻掇爨窭了提痰懿菸凌办法； 奉鬻融陵寨潜藏实蠛了在褫蒙鼙镦审礴定露标位鹫缝标觞露辩，篱鹜标懿运毒瀚淼 分聿嚣及跟踩锚荛好了准蓉。 基予銎豫靛囊魂爨黪控铡蒙糖瞬定 4 援像棍指闫的闭环控制系统 本露工俸主要雹罐下瑟蠹察： 1 焱分椽摄像橇撂肉的阕蓼控露系统黪功栽瓣基础上，划分- f 掩辜系统摸绫并实 现了蒜模块算法； 2 。撬密了若干重要概念及方法，分撰著褥次了功燃实嚣巾遘副稳一整麓蘧。 4 ，1 墨l 言 摄像梳撂向的溺邵控帛l 系统邕酌在于蠢莳稿图像楚瑾蕈元给搬静在顿潮檬上静 嚣耩夔爨坚挺，去嵇计嚣禄鲢露药状态，遴甄设洚簇踩箕法，实辩鹣臻导云鸯8 运凌， 鬻动攘稼枫戆终撂疯运渤髫蟊这攒，毽耘裁会曼糯子霉纂兹中爽。这里要淡避鼹拿条 件： l 。象绫戆晦捻溅蒡骥溅臣糠懿运凌； 2 ，系统麓够褥雳由予瓣标运动在淡叛黼豫上蔼产黛自奇位移律舞捺潮所需豹误慧来源， 澎戏瓣巧的反馈控卷系统。 对予控皋深统采游崮于撬牙撬羧苓j 撒懿帮霆爨差，艨鞋金骥懿联焉给寝篷与 实际穰之阉豹编蓑是辩常羹要豹，邀怒影响控靠嚆；缡精魔及熬俸健能酌一个重癸嗣索。 通常的控带螺统是军d 嗣禽逶的传感器时被控艟迸才亍谶接或间接的濑t 蠹，并与给定德进行 跑较扶麓樗出偏差，并糟这拿 蒜差俸为依据，通过黼浮元的运髯，袭蠢麓令去控澍谣 节掘橡，谪警毅椽可以熹搜或澜菝黪敬变浚整量黪簸，献露搜整拿系统海慧离麓、魔鬟熬 方趣发粒，骞至满跫系统簿稳悫误嫠熬要求。 基于陶像的自动躐馨襄嫌4 系统由予薅乏犀j 可见光卞譬为间接女袅测目标使置的手段，麒系 统缭秘、壤号媾遂渡疆、浚差骛遘及攘瞧餐绩号熊遴、捺嘉蠛雏赣垮专采建煮懿俺感纂 翡经燕妻滕系统存在穰六不嚣，为了秘确基予蓬豫豹摄豫梳鑫韵鞭踪擦麓系统设计聪慧、 络搀没暑卡、控辔l 繁路等翊鼹，戥矮对缓系统率髓鹣些特蠢阁鼷涟行分辑。 凌裁嚣謦磐数论述，虽然爨稼豹远魂是连续黪，毽赉