（模式识别与智能系统专业论文）电视跟踪系统的研制及相关算法的研究.pdf

摘要 摘要 本课题研究的主要内容是智能电视跟踪系统及在该系统上的实用积相关跟踪算法。电视 跟踪系统是以电视摄像头为成像传感器，用电子跟踪器产生跟踪误差信号的一种光电跟踪装 置，由电视摄像头、电子跟踪器、伺服机构和监视器等四个主要部分组成。系统设计采取了 集中控制、模块化处理的构架。主要由一块中心处理板和若干块图像处理板组成。中心处理 板由系统时基模块、a d 变换模块、d a 变换模块、序列图像存储器、视频叠加模块和c p u 等部分组成。图像处理板由场图像存储器、数据交换双口r 心和d s p 等部分组成。所有系统 信息的管理、数据交换以及处理由中心处理板负责完成：各种图像处理算法由各个硬件结构 完全相同的图像处理板完成。 论文还对积相关算法在智能电视跟踪系统中的应用和一些优化方法做了较为深入的研 究。主要分跟踪的稳定性、实时性以及跟踪丢失的策略等几个部分进行了详细的讨论。 关键字：电视跟踪积相关同步信号发生器t m s 3 2 0 c 3 1d s p 查堕查堂婴圭兰焦堡苎 一一一 a b s t r a c t t h em a i nc o n t e n t so ft h i sp a p e ra r ei n t e l l i g e n tt v t r a c k i n gs ”t e ma n dr e a l - t i m ep r o d u c t c o r r e l a t i o na l g o r i t h m t h et vt r a c k i n gs y s t e mi s c o m p o s e do ft vc a m e r a , e l e c t r o n i ct r a c k e r , s e r v n s y s t e m a n dt vm o n i t o r , u s i n gt vc a m e r aa s i m a g i n gs e n s o ra n de l e c t r o n i ct r a c k e rt o p r o d u c ee l t o l t h es y a e m h a sa na r c h i t e c t u r eo f c o n c e n t r a t e dc o n t r o la n d m o d u l a r i z i n gp r o c e s s i n g i ti n c l u d e sac e n t r a lp r o c e s s i n gb o a r da n ds e v e r a li m a g e p r o c e s s i n gb o a r d s t h ec e n t r a lp r o c e s s i n g b o a r dc o n s i s t so f s y s t e mt i m i n gs i g n a lm o d i l l e ，a da n d d am o d u l e ，s e q u e n t i a li m a g e sm e m o r y m o d u l e ，v i d e om o d u l ea n dc p u t h ei m a g ep r o c e s s i n gb o a r dh a st h l t ep a r t so fi m a g em e m o r y , d u a lp o r tm e m o f ya n dd s et h ec e n t r a lp r o c e s s i n gb o a r dd e a l sw i t hi n f o r m a t i o np r o c e s s i n g , d a t a e x c h a n g i n g a n d p r o c e s s i n g t h ei m a g ep r o c e s s i n gb o a r dt a k e sc h a r g eo f p e r f o r m i n ga l g o r i t h m s t h i sp a p e ra l s or ：e s e a r c h e sd e e p l yi np r o d u c tc o r r e l a t i o na l g o r i t h mi nt h r e ea s p e c t so f t r a c k i n gs t a b i l i t y , r e a lt i m et r a c k i n ga n d t r e a t m e n to f o b j e c t m i s s i n g d s p k e y w o r d s ：t vt r a c k i n g p r o d u c tc o r r e l a t i o na l g o r i t h m s y n cg e n e r a t o r t m s 3 2 0 c 31 l l 东南大学学位论文独创性声明 本人声明所星交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除 了文中特别加以标注和致谢的地方外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含为获 得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 研究生签名珈职髟 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档， 可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密 期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布 ( 包括刊登) 授权东南大学研究生院办理。 研究生签名聊繇识 哗 第一章绪论 第一章绪论 1 1 智能电视跟踪系统概述 电视跟踪系统是以电视摄像头为成像传感器，用电子跟踪器产生跟踪误差信号的一种光 电跟踪装置。电视跟踪系统由电视摄像头、电子跟踪器、伺服机构和监视器等四个主要部分 组成。电视摄像头是电视跟踪系统的关键部分，用来摄取景物( 包括目标) 的图像，并将光学 图像转换为符合电视制式的一维电信号视频信号。摄像头的核心部件是摄像管，它完成 光电信号转换。早期的电视摄像头大都采用不同靶面材料的摄像管，7 0 年代以后，新的固体 摄像器件电荷耦合器件( c c d ) 逐渐成熟。由于其集成度高( 空间分辨率高) ，而且结构简 单，信噪比高，易于与微机连接，因而在电视摄像头中得到了广泛应用。电子跟踪器有两项 主要功能，一是产生跟踪窗，二是提取跟踪误差信号。跟踪窗也叫选通波门，设置跟踪窗的 目的在于摒除窗口阻外的一切景物信息以及背景干扰，达到选通的e l 的，并用它来搜索、捕 获和跟踪目标，同时使图像数字化处理的信息量大大减小，增强了跟踪的实对性。从视频信 息中提取跟踪误差信号，是实现自动跟踪的重要环节，在提取跟踪误差信号之前，通常要对 视频信号进行滤波等预处理以提高信噪比。对于点目标而言，可根据行、场扫描扫到目标点 的时间确定出目标与视轴之间的偏差量，这个偏差量就是跟踪误差。对于成像为一个“面” 的面目标，则采用不同的方法求出“目标点”的跟踪误差信号，即采用不同的跟踪体制，包 括边缘跟踪、象限跟踪、形心跟踪、最佳对比度跟踪、矩心跟踪和相关跟踪等。 电视跟踪系统是一种无源跟踪装备，其突出特点是隐蔽性好，可以高分辨率成像，跟踪 精度较高，而且结构较红外和激光跟踪简单，可靠性高，因此在火控系统、导弹制导、靶场 跟踪测量和战场侦察等军事领域得到广泛应用。 国外电视跟踪系统的发展大体划分为三个阶段，6 0 年代为研制阶段，主要攻克关键技术， 7 0 年代为装备阶段，8 0 年代以后为分系统集成阶段。经过几十年的发展，电视跟踪系统在 世界各国各军兵种已得到广泛应用，主要应用范围是光电火控、电视制导、靶场跟踪和战场 侦察等。 光电火控是电视跟踪系统的主要应用领域，用于军舰、飞机和地炮火控系统。美、英、 法、意、俄、德、瑞典、瑞士、以色列等国不仅大量装备本国部队，还出口第三世界国家。 海军是应用光电火控系统最多的军种，在现有8 0 多种舰载光电火控系统中，绝大部分 都配有电视跟踪系统用以对付掠海飞行的反舰导弹。电视跟踪系统在舰载火控系统中的应 用主要是和雷达、激光测距机和红外热像系统组合使用，作为低仰角跟踪和抗电磁干扰的手 段。英国的w s a 4 2 0 系列舰载火控系统，1 9 6 8 年研制成功，由费兰蒂公司生产，1 9 7 2 年装 备。这是一种雷达附加电视跟踪系统的系统。法国v e g a 舰载火控系统是法国汤姆逊公司 研制的，与雷达配用的电视跟踪系统采用v i d i c o n 摄像管、最佳对比度跟踪体制，对飞机截 东南大学硕士学位论文 获距离为1 l k r n ，对掠海导弹为6 5 k m ，跟踪精度为0 5 m r a d 。8 0 年代以来，包括激光测距机、 电视跟踪系统和红外跟踪系统的集成式舰载光电火控系统陆续开始装备，其中具有代表性的 装备有美国研制的9 7 5 型光电跟踪系统、美英联合研制的“海射手i i ”型、法国c s e e 公司 和s a g e m 公司研制的t o t e m 型和v o l e a n 型、以色列e l o p 公司研制的m s i s 系统和瑞士 康特拉夫斯公司研制的“海上卫士”系统等。这些系统都将几种传感器集成到同一个转台上， 视轴互相平行，有的还共用光路和共用窗口，在结构上实现了“三光合一”。 电视制导是利用电视摄像头作为制导系统的敏感元件，获得目标图像信息，形成控制信 号，控制和导引导弹飞向目标的制导方式。电视制导方式在飞航导弹制导中占有重要地位， 随着光电转换器件和大规模高速实时图像处理技术的迅速发展，使电视制导质量越来越高。 一般军事目标上装的干扰装置大都是针对雷达、红外制导的，所以电视制导不易受干扰，可 以达到出其不意的击中目标的目的。由于它采用图像处理技术、抗电磁波干扰、跟踪精度高、 价格低、可靠性高、体积小、重量轻、可在低仰角下工作等诸多优点，使电视制导技术日益 与雷达制导、激光制导、红外制导等一起成为制导技术的重要组成，并广泛用于导弹和炸弹 的制导中。 电视制导是在导弹发射前或飞行过程中，导引头中的电视摄像头开机并搜索、捕获、跟 踪和锁定目标。同时利用导引头敏感的俯仰误差角，航向误差角倾斜误差角，送出误差电 压控制弹体按预定方向飞向目标，并使目标处于视场内，利于下阶段对目标的截获。在此阶 段由计算机控制光学系统进行搜索，同时视频图像经降噪、图像数字化、增强等预处理后送 二值图像q 计算机，自动识别出目标。计算机计算出目标中心相对于视轴中心的角偏差，一 路送往伺服随动系统，控制转台实现对目标的实时闭环跟踪，另一路送自动驾驶仪，通过舵 机伺服系统控制舵机，引导导弹或炸弹自动飞向目标，直至命中目标。 从功能上分，电视制导可分为全自动电视制导、人工装定电视制导和捕控指令电视制导。 l - 全自动电视制导：全自动电视制导能对目标实行自动搜索、自动捕获和自动跟踪。这 种制导方式不需人工参与，当导弹飞到目标区时，电视导引头自动开机。开机后电视导引头 自动搜索目标。当电视摄像头的视场范围内有目标时，导引头就自动捕获目标。一旦目标被 捕到，导引头就由搜索状态转为自动跟踪状态。 2 人工装定电视制导：发射前导弹在发射平台上，导引头已开始工作，在人工参与下用 波门将目标套住，然后发射导弹，导弹就自动跟踪与攻击被套住的目标。这种导弹射程不太 远，导引头的作用距离就是导弹的晟大射程。 3 捕控指令电视制导：捕控指令电视制导是一种人工控制的导引方式，它较多用在机载 导弹上。由飞机将导弹载到战区，然后由驾驶员将导弹发射出去。当导弹飞临目标区时，导 引头开机搜索目标，同时，弹上的图像发射机将图像信号传输给载机，驾驶员从监视器上观 看图像。一旦发现图像中有目标，就向导弹发出停止搜索命令，导5 头停止搜索，但仍对准 目标，驾驶员移动波门套住目标，同时发出捕获指令和跟踪指令，导引头根据此指令以及自 身的能力锁定目标，进而引导导弹飞向目标并摧毁它。 2 第一章绪论 电视制导导弹是电视跟踪系统的一个重要应用，国外发展比较快，已有不少型号装备部 队并用于实战。其中“幼畜”( m a v e r i c k ) 是最著名的一种电视制导导弹，1 9 6 4 年由美国空军 提出，1 9 6 8 年由休斯飞机公司中标研制，1 9 7 0 年进行鉴定飞行，1 9 7 1 年开始生产，共有两 种型号，即a g m - 6 5 a 和a g m 6 5 b ，前者采用边缘跟踪体制，后者采用数字形心跟踪体制， 除作用距离更远外，跟踪更稳定。这种导弹采用射前锁定目标，主要用于攻击坦克、装甲车、 火炮和地堡等“点”目标，命中率达8 5 。已生产数万枚，其中约有一半用于出口。8 0 年 代以来电视制导开始向“发射后不管”方向发展，即发射后电视引导头自动发现并锁定目标， 大大提高了运载平台的生存能力。 美国和法国等自7 0 年代中期开始研制靶场跟踪测量用的电视跟踪系统。7 0 年代中期法 国s i d e t e l 公司研制了第一代跟踪测量用的电视电影经纬系统，采用硅靶管成像和点跟踪 体制。8 0 年代该公司又研制了第二代，即k t h 5 0 0 型弹道测量系统，这是一种包括电视跟 踪系统、红外跟踪系统、激光测距机和光学观察系统的光电测量系统。该系统有两台不同焦 距的电视摄像机，能自动搜捉和跟踪目标。完成脱靶量实时测量采用徽处理器控制的相关 跟踪体制，角跟踪精度为3 角秒。1 9 7 8 年美国新墨西哥大学和亚利桑那大学光学中心共同 为白莎导弹试验靶场研制成一种“智能”化实时电视跟踪系统，它采用了一系列先进技术， 代表着电视跟踪技术的先进水平，在体制上它采用了相关跟踪体制，在复杂的背景条件下能 稳定跟踪，还采用了新型快速算法和高速数字硬件及分布式多微处理器结构，能实现对快速 变化姿态目标的实时识别和跟踪，能根据设定的判据实现自动识别和判决，具有一定的智能 化性能。 7 0 年代美国还研制了一种机载地面侦察和武器投放用的昼夜型电视跟踪系统 u v r 7 0 0 ，它采用对比度跟踪体制，摄像器件为光电型摄像管，级联三级像增强器，可在星 光条件下工作，跟踪距离和识别距离分别为5 k m 和1 5 k m 。 1 9 8 7 年法国电气与信号设备公司为“福熙”号航空母舰研制了飞机着舰光电引导系统 d a l l a s 系统，并于1 9 8 8 年装舰试验，获得令人满意的结果。该系统包括电视跟踪系统、 红外跟踪系统和激光测距机，用以跟踪测量飞机下滑航迹并监视飞机飞行姿态，为着舰指挥 官和飞行员提供信息，以提高着舰效率和安全性。电视跟踪系统采用c c d 摄像机，跟踪精 度为士o ，3 m r a d ( 高低角) 和：l o 6 m r a d ( 方位焦) 。 1 2 课题背景 本课题的前身“”是“i t - 2 智能电视跟踪系统”和“i t 2 a 智能电视跟踪系统”。其中， “1 t - 2 智能电视跟踪系统”实现了对军舰、坦克等目标的自动识别与跟踪；而“i t - 2 a 智能 电视跟踪系统”则在提高i t 2 a 系统的整机性能的同时，实现了首帧目标的自动识别与跟踪。 本论文着重在实时性、通用性与多功能方面对前述系统进行了改进和提高，为各种图 像处理和模式识别的新型算法的研究提供了硬件开发和时效验证平台，也使过去很多停留在 理论研究阶段的算法得到实际发挥的空间，从而更加促进算法研究与实际应用的结合。 3 东南大学硕士学位论文 1 3 论文主要内容 本论文第一章对电视跟踪系统的发展现状进行了概括性的介绍；第二章从硬件和软件 两个部分论述系统的总体结构和设计思路；第三章详细讨论了系统各模块硬件的具体实现方 法；第四章阐述了积相关的相关理论和为了得到良好的跟踪效果而进行的一些相应处理措 施；系统软硬件调试过程中遇到的一些问题以及解决方法等内容放在了第五章；在最后一章 中，对论文工作进行了总结并对今后的发展方向提出了较为切实的展望。 4 第二章电视跟踪系统总体设计 第二章电视跟踪系统总体设计 2 1 系统硬件总体结构 2 1 1 系统总框架介绍 电视跟踪系统的原理框图如下 图2 1 电视跟踪系统的原理框图 系统设计采取了集中控制、模块化处理的构架。所有系统信息的管理、数据交换以及处 理由中心处理板负责完成；各种图像处理算法由各个硬件结构完全相同的图像处理模块完 成。这种清晰的功能划分非常有利于系统功能的扩展，为今后进一步的算法研究提供了有力 的平台。 2 1 2 中心处理板 电视跟踪系统的关键部分是中心处理板。其硬件框图如图2 2 所示。 中心处理板负责产生系统时基、对视频信号进行a d 变换、对数字信号进行d a 变换、 序列图像存储、视频叠加、面板信息处理和与其他图像处理板交换数据等工作。 2 1 3 中心处理板信号定义及数据流控制方式 中心处理板信号约定： 5 m i n ：5 b l z 时钟输入： c s ：复合同步非( c o m p o s i t es y n c ) 5 东南大学硕士学位论文 螺 世 瓣 6 = 工 圃 雌 壮 隧 ! 胄i 例 爿 ，拿 岳 n 匝 第二章电视跟踪系统总体设计 h s ：系统行同步( 正程为高，逆程为低) ( h o r i z o n a ls y n c ) ； v s ：系统场同步( 正程为高，逆程为低) ( v e r t i c a ls y n c ) ； 5 m 二5 m h z 输出； s m ：5 删z 非输出； b 7 一d o ：8 位数据线( d a t a ) ； f s 7 - f s 0 ：信号流选择( f l o ws e l e c t i o n ) ： c h ：字符地址发生器行信号( c h a r a c t e ra d d r e s sg e n e r a t o ri f o r i z o n a ts y n c ) ： c v ：字符地址发生器场信号( c h a r a c t e ra d d r e s sg e n e r a t o rv e r t i c a ls y n c ) ； c h a r ：串行字符( c h a r a c t e r ) ； d r e ：双口r a m 右端口使能( d u a l p o r tr a mr i g h t e n de n a b l e ) ： s a l 8 一s a o ：序列存储器地址发生器( s e q u e n t i a la d d r e s s ) ； a 2 3 一a o ：地址总线( a d d r e s s ) ； f b e ：面板i o 使能( f a c eb o a r de n a b l e ) ： j s e ：揉缎杆使能( j o ys t i c ke n 曲l e ) ： g a t e ：波门信号( g a t es i g n a l ) ； c r o s s ：十字丝信号( c r o s ss i g n a l ) ： c a i o c a o ：字符发生器地址线( c h a r a c t e rg e n e r a t o ra d d r e s s ) ： m s 3 一m s o ：模块选择( l o d u l es e l e c t i o n ) ： d l e ：双口r a m 左端口使能( d u a l - p o r tr a ml e f t e n de n a b l e ) ： g i d 7 一g i d o ：灰度图像8 位数据线( g r e yi m a g ed a t a ) ： c e ：灰度比较器使能( g r e yc o m p a r a t o re n a b l e ) ： l i l t 7 一m l o ：多层次灰度输出( m u l t il e v e lg r e yi m a g eo u t p u t ) ： b i m ：二值输出( b i n a r yi m a g eo u t p u t ) ： p r e ：引导r o m 使能( p r o g r a mr o me n a b l e ) ： s a d ：操纵杆a d 变换使能( s t a r tj o ys t i c ka dc o n v e r s i o n ) ： 中心处理板有5 种数据流控制方式，用于完成不同的功能。它们分别是： 1 a d 到d a 直通：f s o 和f s 3 选通，其他的f s 不选通， f s 7 一f s 0 = f 6 h ，显示视频信 号经a d 到d a 变换之后的结果： 2 只存储不显示：f s o 、f s l 、f s 2 和f s 6 选通，其他f s 不选通， f s 7 一f s o = b s h 将a d 变换后的数字信号存储至序列图像存储器，以备后续处理： 3 显示序列图像存储器的内容：f s l 、f s 2 、f s 3 和f s 7 选通，其他f s 不选通， f s 7 一f s 0 = 7 1 h ，系统此时连续回显存储于序列图像存储器中的8 场图像： 4 显示a d 转换后的图像数据与设定阈值的比较值所构成的图像：f s o 、f s 4 和f s 5 选 通，其他f s 不选通， f s 7 一f s o = c e h ，将a d 变换后的数字信号送至比较器，再将比较 得到的多层次结果经d a 变换显示出来： 7 东南大学硕士学位论文 5 显示序列图像存储器中图像数据与设定阈值的比较值所构成的图像：f s l 、f s 2 、f s 4 、 f s 5 和f s 7 选通，其他f s 不选通，f s 7 一f s o = 4 9 t t ，将序列图像存储器中的数字信号送 至比较器，再将比较得到的多层次结果经d a 变换显示出来。 2 1 4 图像处理板 各个图像处理板【4 1 的硬件结构是完全一样的，所不同的是它们的软件算法。其硬件框图 如图2 3 所示。 系 图像数据至底板 图2 ，3 图像处理板硬件框图 图像处理板主要由d s p 和2 个图像存储器组成。图像存储器1 为双口r a m ，一端连 接至系统总线，实时接收来自中心处理板的图像数据；另一端接至d s p 数据总线。图像存 储器2 也是双口r a m ，用于存储上一场待处理的图像。系统工作时，图像处理板上的图像 存储器1 在场正程实时接收图像，d s p 在场逆程将图像存储器i 中的图像数据快速导入图 像存储器2 中，以各在下一个场正程对其进行处理。图像处理板通过图像存储器2 中的某段 双口r a m 单元同中心处理板实现数据交换。 2 1 5 系统工作过程 人机交互操作接1 ：3 包括面板上的“跟踪模式”、“增”、“减”、“确认”、“伺服电跟”、“序 列存储”和“二值多值”等按键以及“原始数字- - 值”拨动开关，另外还有带锬定键的 操纵杆。 显示界面包括波门、方位及俯仰坐标、闽值、跟踪方式以及系统状态。其中波门有搜 索窗口和跟踪窗口两种状态。搜索窗口为矩形的四角，跟踪窗1 ：3 为矩形。“方位及俯仰坐标” 代表波门中心的位置坐标，坐标系是以视场中心点为原点的直角坐标。“阈值”表示涉及到 闽值的跟踪算法计算出的实时阈值( 积相关算法不需要阑值，所以阈值位无效) 。“跟踪方式” 8 第二章电视跟踪系统总体设计 表示系统正在使用的跟踪方式。“系统状态”表示系统所处的状态，分为“正在跟踪”、“跟 踪失败”和“正在搜索”3 种状态。 系统工作的主要过程如下。 通过面板按键选择跟踪方式( 开机默认使用第一个插槽上图像处理板中的跟踪算法) ， 使用操纵杆将目标框入6 4 x 6 4 像素大小的搜索窗口中，在此过程中中心处理板一直将搜索 窗的实时坐标写入各块图像处理扳中，使各块图像处理板在系统没有锁定的情况下能够得到 足够的信息以进行“预算”，当按下锁定键，中心处理板立即置锁定标志，使所有图像处理 板开始同步并行工作。每块图像处理板根据各自的算法对锁定的目标进行跟踪，并把计算出 的实时坐标点等信息写入数据交换区。 中心处理板根据图像处理板给出的实时坐标使系统对被锬定目标进行跟踪。这里分“伺 服跟踪”和“电视跟踪”两种情况。“伺服跟踪”是指中心处理板根据图像处理板给出的偏 差信号去控制伺服系统，使伺服系统根据偏差带动摄像头转动，从而把被跟踪目标始终保持 在视场的中心位置。“电视跟踪”是指没有伺服系统的参与时，摄像头是静止的，系统对目 标的跟踪体现在跟踪窗随目标在视场中移动。对这两种不同的跟踪方式，中心处理板分别读 取图像处理板上数据交换区中的坐标偏差值和实时坐标。 在显示器屏幕上，可以看到3 种性质的图像，分别是原始图像、数字图像和二值图像。 这三种图像的选择是通过拨动开关实现的，拨动开关的“原始图像”挡用于观察摄像头采集 进来的图像，“数字图像”挡用于观察经过a d 转换之后的图像，“二值图像”挡用于观察数 字图像与闽值比较之后得到的二值图像或者多阈值图像。 2 2 系统软件流程 中心处理板软件流程如图2 4 所示。 中心处理板的主程序为管理程序，负责对中心处理板、图像处理板的数据交换区进行 初始化，读取面板按键信息。读取操纵杆信息，通过数据交换区与图像处理板进行通信，通 过串行口与伺服系统进行通信等工作。除初始化工作在主程序中完成之外，其他的功能都在 中断服务程序中完成。在图2 2 “中心处理板硬件框图”中可以看到，d s p 的i n t 2 中断引 脚的输入是系统场同步信号v s ，也就是说中心处理板在场逆程里进行中断服务。因为 t m s 3 2 0 c 3 1 的硬件中断是电平触发方式，而系统需要在场逆程中完成上述工作，因此需要将 d s p 的中断方式以软件的方法改为边沿触发方式。这样就可以保证在每个场逆程开始的时候 主程序进入中断服务。 在中断服务中，首先判断是否第一次进入中断，如果是则跳出中断。这是因为系统时 基的产生和d s p 的时钟并不是一致的。d s p 中的主程序初始化完毕并且等待进入中断的时刻 可能正好在v s 的逆程中，即系统初始化完毕立即进入中断而不是在v s 的逆程开始的地方。 加入这个判断就是要把第一次中断忽略，从第二次进入中断才开始真正的中断服务。接下来 读取面板信息，系统根据面板信息判断选择的是何种显示方式和跟踪方式，并在屏幕上显示。 o 东南大学硕士学位论文 之后，进行锁定判断。如果未锁定则进入搜索状态，使波门和十字丝的位置随操纵杆而改变； 如果已经锁定。则写锁定标志和锁定点坐标到图像处理板的数据交换区，然后进入跟踪状态， 从图像处理板的数据交换区读取坐标值等数据。根据读取的数据在显示器上显示波门、十字 丝和坐标。最后，对场逆程的剩余时间进行处理，用空循环填满这段时间，因为如果中断服 务中的语句全部执行完毕马上返回可能会导致没有到下一个逆程而又进入中断的错误。 设置d s p 工作周期 f 设置x f 弓i 脚 i 设置默认显示模式 i 清除字符r a n l 设置中断方式标志 i l 设置锁定标志i a 主程序 图2 4 中心处理板软件流程 1 0 b 中断 第二章电视跟踪系统总体设计 图像处理板软件流程如图2 5 所示。”3 图2 5 图像处理板积相关算法流程图 东南大学硕士学位论文 2 3 系统主要技术指标 1 视频输入：c c d 摄像头产生的p a l - d 标准电视信号。 2 ，采样频率：5 m h z ( 将图像数字化成2 5 6 2 5 6 像素) ；为进行系统扩展还提供l o m n z ( 将 图像数字化成5 1 2 5 1 2 像素) 。 3 视窗大小：电视视窗：2 5 6 2 5 6 4 系统时基 5 跟踪偏差 跟踪窗：6 4 6 4 行周期；6 4 u s行正程 场周期：2 0 m s场正程： 每2 0 m s 输出一次 1 2 搜索窗：6 4 6 4 灰度级：2 5 6 级( 8 b i t ) 。 5 1 2 u s 1 6 3 8 4 m s 。 第三章电视跟踪系统主要电路设计及工作原理 第三章电视跟踪系统主要电路设计及工作原理 本智能电视跟踪系统以i t 一1 和i t 一2 型电视跟踪系统为基础，对系统硬件结构按照功 能进行了重新划分，主要将以前的视频板和中心处理板整合为一块中心处理板负责系统时基 产生、系统管理和视频显示，增加了序列图像存储和处理功能，并使用硬件结构一致的通用 图像目标识别及跟踪处理模板，使得整个系统的结构更加清晰合理。在硬件实现上，大量采 用可编程逻辑器件替代原有的专用芯片和分立元器件，不但提高了整机性能的稳定性，也使 系统结构更加规范化，从而使系统在硬件功能上的进一步提高更加方便。本章将按照功能划 分，对中心处理板从系统时基、a d 、d a 变换、序列图像存储、视频叠加、波门、十字丝 和字符产生等几个方面进行详细介绍，并对图像处理板的主要部分进行介绍。 3 1 系统时基 智能电视跟踪系统处理的信号源是从c c d 摄像头出来的标准p a l d 电视信号“1 。p a l d 规定的主要参数如表3 i 所示。 表3 1p a l - d 主要参数 参数标称值 每秒帧数 2 5 每秒场数 5 0 每帧行数 6 2 5 扫描方式隔行扫描 视频带宽6 m h z 行周期6 4 u s 行消隐 1 2 o 3 u s 行同步脉冲宽度4 7 0 。2 u s 场周期2 0 m s 场消隐1 6 1 2 0 3 u s 前均衡、场同步、后均衡各1 6 0 u s 均衡脉冲宽度2 3 5 0 1 u s 场同步脉冲开槽宽度4 7 0 2 u s 从参数中可以看出，行正程时间是5 2 u s ，场正程时间是1 8 3 8 8 m s 。 系统采取5 删z 的时钟产生时基信号，因此最大分辨率是0 2 u s 。系统处理的窗口大小 1 3 东南大学硕士学位论文 为2 5 6 2 5 6 像素，就是在行正程中取2 5 6 个点，每个点的采样持续02 u s ，因此系统需要 的行正程对闻是0 ，2 u s 2 5 6 = 5 1 ，2 u s ，只是标准信号行正程的一部分：圊样的，可以得到 系统的场正程时间为6 4 u s x 2 5 6 = 1 6 ，3 8 4 m s ，也只是标准信号场正程的一部分。由此得到系 统时基的主要参数，如表3 2 所示。注意，因为系统的晟大时问分辨率是0 2 u s ，所以一些 参数在标称值允许的范围内进行了改变。 表3 2 系统时基参数 参数标称值 单位时闻0 2 u s 每场行数3 1 2 5 行周期6 4 u s 行消隐行正程1 2 8 u s 5 t 2 u s 行同步脉冲宽度4 8 u s 场周期2 0 m s 场消隐场正程3 6 1 6 u s 1 6 3 8 4 m s 前均筏、场礴步、后均衡各1 6 0 u s 均衡脉冲宽度2 4 u s 场同步脉冲开槽宽度4 8 u s 标准电视信号中还包含一个重要的信号，就是复合同步信号。复合同步信号由行同步 和场同步信号组成。它的作用是使显示设备能够准确的对图像信号进行提取，使显示的图像 清晰稳定。对智能电视跟踪系统来说，只需要行同步和场同步信号来获得行、场开始的信息。 而复合同步只是甩于同步显示器和摄像头的，因此系统用到的复合同步不需要改动，就是标 准电视信号规定的复合同步。 偶数场开始 i t 11 80000r 厂 厂 厂1 厂 0i 01 111 卜s o _ - 十_ _ 一s 1 + 卜s 2 卜s 3 偶数场 图3 1 复合同步信号 1 4 n i s刿 几+自掣m 一徽 几一蛙 山蚰 瑞上一 场i且p五卜 苎三童皇望! ! 堕至竺圭墨皇堕堡笪墨三堡堕墨 图3 1 所示即为复合同步信号。可以看到，奇数场和偶数场起始部分是一样的，s 3 之 后才有所不同。这是因为，每场扫描3 1 2 5 行，奇数场从整行开始，到半行结束，而偶数场 从半行开始到整行结束。图3 1 中，s o 叫做前均衡，s 1 叫做场同步，s 2 叫做后均衡，这三 个部分的时间长度都是行周期的2 5 倍。 要实现系统所需要的时基信号，有3 种方案：一、利用分立元件搭构；二、用专用芯 片实现；三、用可编程逻辑器件完成。其中第一种方案过于繁琐，实现起来体积较大，而且 易导致信号不稳定。第二种方案可以非常容易的得到极其稳定的标准电视信号所需的行、场 和复合同步信号，但是过于依赖专用芯片。目前专用的视频同步信号发生器大多功能复杂， 行、场、复合同步信号都只是其中很小的一部分，用这种芯片就存在着资源浪费的问题 而 功能较为单一的芯片如s a m l 0 1 等又不易购买。况且，即使使用了这类专用芯片，要得到系 统所需信号，也还是要用逻辑进行转换，所以第三种方案比较实际。现在，可编程逻辑器件 ( c p l d ) 的集成度已经相当高，而且可以在系统编程，使得调试变得非常容易。c p l d 的逻辑 编程也非常简单，例如a 1 t e r a 的m a x 7 0 0 0 系列可以用其专用的k f i d l 语言或者逻辑图等方法 实现在系统编程。 接下来，看一下系统时基信号的县体细节。图3 2 分别示出了行、场和复合同步信号 的波形。 a “ r 厂 | 厂 广 厂 厂 厂 m h s 口 i * - b 厂厂 | _ 广 _ 厂 厂 厂 “8 ” 00i6 l10 几几几n n0 il100 t 触垢* 始 图3 2 系统时基信号 由图3 2 可以看出，行同步( h s ) 、场同步( v s ) 的波形都是比较简单的周期信号。其中 h s 是一个周期为6 4 u s ，高电平占5 1 2 u s 的周期信号。从系统上电开始，h s 就不断产生。 而v s 的时序就稍微有点复杂了。前面已经提到奇数场和偶数场的开始位置是不同的。奇数 场从整行的位置开始，而偶数场则从半行的位置开始。从标准的电视信号图中可以看出：每 一场都是从逆程开始的，而逆程的时间是i 6 1 2 u s 。系统需要的是每场3 1 2 5 行中的2 5 6 行， 起点的选取有相当大的自由度。为了保证能取到图像，规定从标准电视信号复合同步的场起 点开始往后的3 2 5 个行周期( 奇数场) 或者3 2 个行周期( 偶数场) 处作为系统场同步( v s ) 的起 点。从起点往后的2 5 6 个行周期的时间内都是系统场同步( v s ) 的正程。正程结束后的时间都 是场逆程。如此反复，构成系统场同步( v s ) 。 查堕查堂堡主兰垡堡茎 可以看出，要得到h s 和v s 必须有一个参考信号。这个参考信号就是标准电视信号的 复合同步。下面详细介绍复合同步的产生。 图3 3 系统复合同步状态机转换图 由图3 1 ，根据复合同步信号的波形特征可以将其分为四个状态”j ：前均衡( s 0 ) 、场同 步( s 1 ) 、后均衡( s 2 ) 和行同步( s 3 ) 。前均衡的周期是半个行周期，脉宽是2 4 u s ，总共有5 个完整周期；场同步的周期也是半个行周期，开槽宽度是4 8 u s ，总共有5 个完整周期；后 均衡与前均衡是完全一样的；行同步周期是一个行周期，脉宽4 8 u s 。奇数场中后均衡结束 马上开始行同步，偶数场中后均衡结束再过半个彳亍周期才开始行同步，这是复合同步信号在 奇数场和偶数场中的不同之处。复合同步信号4 个状态中，每个状态都可以看作一个单纯的 周期信号。要得到复合同步信号只需要在适当的时刻使状态从一种转换到另一种。可以用4 个状态的状态机来实现这样一个有4 个状态的周期信号。如图3 3 所示。因为每个状态中都 是简单的周期信号，而周期信号的周期、脉宽都是确定的，这样用计数器就可以很方便的实 现。前面已经按照系统时钟所能提供的最大时间分辨率对各个时间常数进行了规格化，所以 每一个参数都是0 2 u s 的整数倍。用5 n l z 晶振产生的周期为0 2 u s 的脉冲作为计数器的时 钟。首先，设置一个计0 2 u s 脉冲的行计数器。按照系统对行的定义，该计数器应计满3 2 0 个脉冲即6 4 u s 清零。但是从复合同步脉冲的波形可以看出，涉及到半行，因此，这个行计 数器应该计满1 6 0 个脉冲，即半行就清零。其次，应设置一个场计数器，用于计半行的数目。 再次奇偶场的行同步部分是不同的，需要设置一个奇偶场标志，用于表示当前是在奇数场 还是偶数场。使用3 个j k 触发器，在不同的状态中通过判断计数器的值和奇偶场标志来赋 予j k 端不同的值，这样就实现了不同状态之间的转换。在e p m t l 2 8 s l c 上用n t b l 语言对其 进行实现。在程序中用到的变量如表3 3 所示。 h 从0 开始计数，到1 6 0 异步清零，表示0 2 u s x l 6 0 = 3 2 u s ，即半行。v 从0 开始 计数，到6 2 5 异步清零，表示3 2 u s x 6 2 5 = 2 0 m s 。在状态s o 中，h = 0 时触发器c s 上跳， h i = 1 2 时( 2 4 u s ) 触发器c s 下跳。在状态s 1 中，h 口= 0 时触发器c s 上跳，h i = 1 3 6 时 1 6 第三章电视跟踪系统主要电路设计及工作原理 表3 3 系统时基产生程序中的变量 变量说明 c 1 k5 n l z 时钟信号 c so u t复合同步输出 h so u t行同步输出 v so u t 场同步输出 h 7 0 半行计数器，以5 m h z 为时钟 v 9 0 场计数器，毗半行脉冲为时钟 h o r i 行标志1 表示前半行( 奇数行) ，0 表示后半行( 偶数行) ，t 触发器 v e r t 场标志，l 表示奇数场。0 表示偶数场，t 触发器 c s 复台同步触发器，j k 触发器 h s 行同步触发器。j k 触发器 v s 场同步触发器，j k 触发器 ( 3 2 u s 一4 8 u s = 2 7 ，2 u s ) 触发器c s 下跳。在状态s 2 中，h 口= 0 时触发器c s 上跳，h = 1 2 时触发器c s 下跳。在状态s 3 中，h = o 并且在奇数半行时触发器c s 上跳，h i = 2 4 并且 在偶数半行时( 4 8 u s ) 触发器c s 下跳。 前三个状态里面均没有涉及奇偶行，因为这些状态中的信号周期都是半个行周期，每 个半行都会发生跳变。而状态s 3 中，信号的周期是一个行周期，即两个半行才有一次跳变， 故引入了行标记。在奇偶场中只有状态s 3 的波形不同但是都是在奇数半行时上跳，偶数 半行时下跳。这是因为一场有6 2 5 个半行组成，奇数场从奇数半行开始至奇数半行结束，偶 数场从偶数半行开始至偶数半行结束。奇数场从奇数半行开始，到状态s 2 的末尾时正好是 第1 5 个半行即将结束，当行计数器清零时，行标志h o r i 还设有变换，仍然是1 ，这样下一 个脉冲到来时触发器c s 上跳，同时h o r i 也进行翻转变为0 ，再过2 4 u s ，触发器c s 下跳。 偶数场的情况与此类似。 状态机状态的转换：当v = 4 并且h = 1 5 9 时，状态应从s 0 转到s l 。因为状态机是 以e l k 为时钟并且是同步的，此时时间是3 2 u s x 4 + o 2 u s x 1 5 9 = 1 5 9 8 u s ，状态转变后待 下一个c l k 到来时正好是1 6 0 u s ，这样保证1 6 0 u s 时已经在状态s l 之中了，从而可以在h i = o 时使触发器c s 翻转。其余状态转换类推。 有了复合同步c s 这个参考信号，就可以产生系统行同步和系统场同步信号了。在标准 电视信号中，无论是奇数场还是偶数场，行同步的起点都在偶数半行的开始处。从行同步的 前沿到开始有图像数据的那一刻的时间间隔的计算平均值是1 0 5 u s ，因此系统行同步h s 的 起点要求在复合同步的行同步起点之后1 0 5 u s ，这里取1 0 6 u s ，即h = 5 3 并且在偶数半 行时系统行间步h s 上跳。为了使行正程为0 2 u s x 2 5 6 = 5 1 2 u s ，在紧接着的奇数半行中， 在h 2 1 4 9 时，系统行同步h s 下跳。此时距离系统行同步h s 上跳的间隔是1 6 0 5 3 4 - 1 4 9 1 7 东南大学硕士学位论文 = 2 5 6 个脉冲，时间是5 1 2 u s 。 前面已经说过，在标准视频信号中，图像数据是在从前均衡起点后的2 5 个行周期处才 开始有的。为了保证能采集到有效的图像数据，在奇数场开始后的3 2 5 个行周期加1 0 6 u s 的时刻，系统场同步v s 上跳，产生正程，这里采取3 2 5 个行周期加1 0 6 u s 是因为在标准 电视信号里面，场消隐的宽度是2 5 个行周期加一个行消隐，从前均衡到开始有图像数据的 那一刻的时间应该是2 5 个行周期加一个行消隐宽度再减去行消隐前肩的宽度”1 。那么对于 第3 2 5 个行周期也是同样的道理，所以采取3 2 5 个行周期加1 0 6 u s 。而在偶数场里面到 了3 2 个行周期处才有数据图像从整行开始，场同步的起始点取在复合同步前均衡开始后的 3 2 个行周期加1 0 6 u s 处。 3 2a d 、d a 转换 任何一个系统，只要同时涉及到模拟和数字信号，就不可避免的要使用a d 、d a 转换 电路。智能电视跟踪系统处理的源信号是标准p a l d 制式的模拟电视信号。要使用d s p 对其 进行处理就必须把模拟的电视信号转换为数字信号，而要在显示器上对处理完的信号进行回 显，又需耍将数字信号转换为模拟信号。 a d 转换部分负责实