（通信与信息系统专业论文）c6xpc视频系统多线程实现和显示量化技术.pdf

电子科技大学硕士论文 摘要 f 运动目标识别与跟踪，场景视频观察，目标视频图像处理和分析及 其d s p 实现，应用程序开发是当代信息、通信领域的研究热点，具有广 、 ，k 一 阔的学科应用前景。， 尸 本项目为c 6 x p c 视频系统，本论文首先介绍了c 6 x p c 视频系统 的理论模型，功能模块的划分和协议的分层，然后分别提出了c 6 x p c 视频系统总体设计方案和软、硬件系统的实现方案。在该项目的开发过 程中，上层应用程序的多线程实现和1 4 b i t 到8 b i t 的显示量化技术的开 发设计是系统的重点和难点，因此本文将重点讨论c 6 x p c 开发中的多 线程实现和显示量化技术。 由于c 6 x p c 视频系统上层应用程序需要同时执行多个任务，且实时 性要求较高，因此在开发时，采用基于w i n d o w sn t 的多线程编程来实 现。开发中，有效的解决了多个线程间通信和同步问题，大大提高了程 序的运行效率和稳定性。系统输入的数字视频信号像素精度为 1 4 b i t p i x e l ，而一般显示器只能显示2 5 6 种颜色( 用8 b i t s 表示) 。本论文 讨论了如何优选有代表性的2 5 6 种，从而把视频中各种颜色都量化归并 到这些代表色上，使量化后得到尽可能好的显示效果。 c 6 x p c 视频系统的设计、开发和调试已基本完成，运行稳定可靠。 项目的工程和理论总结已经完成。，t 从一 关键字 l i 数字图像量化) 因缘赵嗵。 皇王型垫查兰堡堡苎 一 a b s t r a c t t h ev i d e oo b j e c tr e c o g n i t i o na n dt r a c k i n g ，t h ev i d e oo b j e c tg e n e r a t i o n o ft h ev i d e oi m a g es e q u e n c e ，t h er e a l i z a t i o nw i t hd s p ，a n dt h ep r o g r a m m i n g o fa p p l i c a t i o ns o f t w a r ea r et h eh o tt o p i c si ni ta n dc o m m u n i c a t i o nf i e l d ， t h e yc a n b eu s e dw i d e l y o u r p r o j e c t n a m eisc 6 x - p cv i d e o s y s t e m w i t h c 6 x - - h o s t p c a r c h i t e c t u r eo nt h ew i n d o w sn t o p e r a t i o ns y s t e m m yp r o j e c ti st op r o g a m e t h ea p p l i c a t i o ns o f t w a r et h a tc o n t r o lt h ew h o l es y s t e mo np c i nt h i st h e s i s ，f i r s t l yis t u d i e dt h et h e o r e t i c a lm o d e lo fc 6 x p cv i d e o s y s t e m ，i t s f u n c t i o n sa n d l a y e r s t r u c t u r em o d e l b a s e do nt h eh a r d w a r e p l a t f o r mo f c 6 x v i d e ob o a r d h o s t p ca n ds o f t w a r es u p p o r to fw i n d o w sn t ， t h eb a s i cd i a g r a mo ft h e s y s t e mi sp r o p o s e d i nt h ep a r t o fa p p l i c a t i o n s o f t w a r ed e s i g na n di m p l e m e n t a t i o n ，h o wt od e v e l o pi tw i t hm u l t i t h r e a d a n dr e a l i z et h ed i s p l a yq u a n t i z a t i o nf r o m14b i t st o8 b i s ti sm a i n l ys t u d i e d i nt h i sp a p e r t h e i m p l e m e n t a t i o n w i t hm u l t i - t h r e a dw i l ln o t o n l y r e d u c ei t s c o m p l e x i t y , b u ta l s ob e n e f i t st h ed e b u g g i n g ，a n di n c r e a s es t a b i l i t yo fs y s t e m d u r i n gt h ep r o g a m i n g ，t oa v o i d t h ec o n f l i c to fs e v e r a lt h r e a d s ，a n dk e e pt h e d a t a s y n c h r o n i z a t i o n i st h e e m p h a s e s o ft h e s y s t e m t h ed i s p l a y q u a n t i z a t i o nf r o m1 4b i tt o 8 b i tw a su s e di nt h es h o wo fv o b i nt l 哆d s p a n dp c p r o c e s ss y s t e m ，t h ev i d e os e q u e n c ei sr e p r e s e n t a t e db y1 4b i t s ( 2 “ l e v e lc o l o r ) ，a n di nt h ed i s p l a yd e v i c e ，i tw i l lh a v et ou s e8b i t s ( 28 ，2 5 6 l e v e lc o l o r ) ，s ot h ee m p h a s e si sh o wt oc h o o s e2 5 6c o l o rf r o mt h e2 “c o l o r a n d g e t t h eb e s te f f e c to ft h ef r a m e i nf a c ti t saq u a n t i z a t i o no ft h e c o l o r i z e dd i g i t a li m a g e c 6 x p cv i d e os y s t e mh a sb e e nd e s i g n e d ，d e v e l o p e da n dd e b u g g e d t h e s y e t e mw o r k ss t e a d i l ya n de f f e c t i v e l y t h ep r o j e e ts u m m a r i z a t i o na n dt h e a c a d e m i cs u m m z r i z a t i o no ft h ep r o j e c th a v eb e e nf i n i s h e d k e y w o r d ：r e c o g n i z a t i o n m u l t i t h r e a dd s p q u a n t i z a t i o nd i g i t a li m a g e 1 1 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研 究工作及取得的研究成果。据我所知，除了文中特别加以标注 和致谢的地方外，论文中不包含其他人已经发表或撰写过的研 究成果，也不包含为获得电子科技大学或其它教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示谢意。 签名： 隆圭塾日期：细2 年，2 月如日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位 论文的规定，有权保留并向国家有关部门或机构送交论文的复 印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学 可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：罩羔丝辱导师签名：。查查型堑 日期：k 一2 年，上月如日 坐三型垫查堂堡主堂堡望塞 第一章 引言 1 1 课题来源和c 6 x p c 视频系统简介 1 1 1 课题来源 本课题是外协课题，同时也是基金预研项目。该课题为“红外 视频运动目标识别跟踪技术”，图像目标的检测与跟踪是图像处理、 分析应用的一个重要领域，是当前相关技术领域的研究前沿。所应 用到的各种技术几乎涵盖了图像处理、分析的各个方面。在计算机 视觉、交通监控、可视预警、机器导航等诸多民用领域有着广泛的 应用，同时在靶场电视测量、火力拦截、导弹电视制导等军用领域 也发挥着重要作用。图像目标识别跟踪中的一些关键技术如：对感 兴趣目标的分割、描述、跟踪等在第三代视频压缩技术中的视频对 象平面( v o p ) 的生成，以及根据图像内容的视频信息的检索等领 域也都有着重要的应用。 1 1 2 c 6 x p c 视频系统简介 c 6 x p c 视频系统的输入端连接红外数字摄像机，输入信号是 红外摄像机提供的模拟或数字视频信号。该系统通过基于c 6 x 系 列高速d s p 的数字视频处理卡，实时的处理红外数字视频动目标 图像序列，完成对动目标的搜索、捕获、跟踪、记忆，并且在p c 机上实时的显示红外图像及运动目标的特征参数，完成动目标区域 图像的实时存储。 系统模型如图1 1 所示： 电子科技大学硕士学位论文 图l lc 6 x p c 视频系统模型 下面结合c 6 x p c 视频系统的基本物理模型，如图1 2 所示， 我们来讨论运动目标识别与跟踪系统的系统方程。 f ( x1 。x2 xn ， 输出处理结 t ) 。运动目标识别与跟踪果 。 w l ，w 2 ，w 3 w n 系统 输入视频信号 图1 2c 6 x p c 视频系统物理模型图 c 6 x p c 视频系统的系统方程： q ) e f ( x l ，x 2 x 。，t ) 】i c = w 1 矿2 w 3 胁 c 6 x p c 视频系统方程的物理意义是：数字视频信号kx l ，x 2 x 。， t ) 通过一个信号处理系统叫】，在限定条件为c 的情况下，系统 的输出结果是：咿1 w 2 w 3 胁】7 。 1 2 研究任务和结果 1 课题的研究任务 根据本系统的特点，从便于项目设计、开发和管理的角度出发， 将c 6 x - p c 视频系统分为以下几个部分： 1 1 系统总体的设计与实现； 2 1 硬件系统的设计与实现； 3 1 软件系统的设计与实现，其中又包括： ( 1 ) 驱动程序的设计与实现； ( 2 ) d s p 软件的设计与实现； ( 3 ) 上层应用程序的设计与实现。 2 电子科技大学硕士学位论文 本人担负的主要任务是：c 6 x p c 视频系统的上层应用程序设计 实现和完善。论文的讨论重点也是这一部分内容。 2 课题实现结果 本系统经过多位同学较长时间的努力，实现了整个系统设计的 目标，能有效的实现对红外运动目标( 包含模拟和数字格式) 的搜 索、捕获、跟踪、记忆，并能实现在p c 上的实时显示和存储，整 个系统运行稳定可靠。 系统已经顺利通过验收，达到设计目标。 1 3 主要相关技术研究动态 1 3 1 运动目标识别技术发展动态 红外运动目标识别与跟踪属于运动目标识别技术的范畴，其实 质是数字图像处理的问题。其主要技术包括：图像分割、图像识别。 这两个关键技术涉及的图像处理算法也是运动目标识别与跟踪技 术的关键算法。下面我们对图像分割和图像识别的处理方法进行简 单的探讨。 一、图像分割技术发展动态 图像分割技术从提出到现在已经有近二十年的时间，发展已经 相当成熟，实现图像分割的算法有很多种，主要有：基于图像灰度 门限的图像分割、基于图像纹理特征的图像分割、基于图像运动特 征的图像分割等。 1 、基于图像灰度门限的图像分割技术1 1 】 这种方法是根据图像象素的灰度信息，选择一个灰度门限， 通过对图像进行二值化处理，来实现图像的分割。其数学表现形式 为： 尸r z ，y ，= ： ，乞：， 其中：t 为图像灰度门限 电予科技大学硕士学位论文 选择门限是这种处理算法的关键，它会直接影响到图像分割的 效果。传统的针对目标与非目标的双峰直方图的分割方法有很多， 如：最小错误概率法、贝叶斯法等。 但是实际上的图像直方图通常是比较复杂的，所以用传统的处 理方法效果在某些情况下不能令人满意。人们有提出了模糊处理方 法、熵不变分割法和随机场模型等新的处理方法。其中随机场处理 方法是目前研究的热点。 2 、基于图像纹理特征的图像分割技术【1 基于图像纹理特征的图像分割方法不是从图像的灰度特征出 发来进行图像分割，而是通过图像的纹理特征来分割图像。这种图 像分割方法也是现在研究的热点。 目前常见的纹理图像分割方法有：基于小波变换的处理方法和 基于分形学的处理方法。 3 、基于图像运动特征的图像分割技术【3 】 对于运动的图像数据来说，图像信息不但在空间上具有相似 性，在时间上也有很大的相似性。可是，基于图像灰度门限的分割 和基于图像纹理特征的图像分割在图像处理中都只用到了图像信 息的空间相似性。 基于图像运动特征的图像分割技术正是利用了连续图像序列 在时间上具有极大的相似性来进行图像分割，所以在图像分割效果 上就有较大的提高。 二、图像识别技术发展动态 图像目标从背景中分割出来以后，系统还需要对它进行识别， 判断分割处理的是否为要跟踪的目标。目标的识别主要包括：图像 特征的描述和图像特征的识别运算。 图像的特征描述就是建立图像特征向量的过程。建立图像特征 向量的方法最常用的方法就是：建立目标特征参数。常用的目标参 数有： 1 、 几何参数，如目标面积、占空比、长宽比等： 2 、统计参数，目标图像的各阶统计矩。 图像特征向量建立好以后，通过一定的匹配运算来实现目标的 4 也子科技大学硕士学位论文 识别。常见的匹配运算有：m a e 、m s e 。 1 3 2 数字图像颜色量化技术发展动态 如何对一幅彩色图像的颜色进行量化优化处理，选用有限种类 有代表性的颜色，效果相对较佳地再现该图像是彩色图像处理中的 重要问题。目前的研究主要基于以下两种标准：【3 l j 1 最小化方差。这类指标是试图使量化前后图像的总方差最 小，起初被用于连续灰度图像的量化，而后应用于彩色图像的量化。 基于这种标准的量化算法能得出与初始划分有关的局部最优解，但 是全局最优解被证明是n p 完全问题。经典的l b g 算法就是基于 这种标准。这类算法一般计算量比较大且繁琐。另外，算法对于量 化前后图像对应点之间颜色值的误差是不限制的，即优化全局而不 考虑局部误差。但是在一块小的图像区域把一些重要的 局部颜色信息量化处理后会导致人眼觉察到的偏差。 2 最小化最大类内距离。这种聚类算法相比其他的算法要少一 些人为的偏见。每种调色板颜色项的选取都是限制在类内误差最小 的基础上，亦即算法对手量化前后的图像对应点之间颜色值的误差 是有所控制的。算法尽可能地保持图像的局部信息量。当然，对于 整幅图像而言，总方差一般比前者大。 近来的研究，如非自适应的算法 3 2 和几种自适应的量化算法 3o ，3 1 1 都近似地考虑了这种原则。 1 4 论文安排 本文试图系统的总结红外运动目标识别与跟踪系统的研究工 作，其中重点介绍红外运动目标识别与跟踪系统的上层应用程序的 设计和开发，着重讨论程序的多线程实现和显示量化技术。本论文 章节安排如下： 第一章：论文的引言部分，它包括课题的提出、研究任务和结 果，c 6 x - p c 视频系统简介与相关技术的国内外研究动态 电子科技大学硕士学位论文 第二章：讨论c 6 x p c 视频系统的实现方案，内容包括c 6 x p c 视频系统功能划分、c 6 x p c 视频系统的协议分层的软硬件实现方 案； 第三章：硬件系统的设计和实现方案； 第四章：软件系统的设计和实现方案，其中主要介绍上层应用 程序的设计与开发； 第五章：系统的工作状态及其多线程实现，内容包括系统的工 作状态和转换，多线程的创建、操作和同步； 第六章：从1 4 b i t 到8 b i t 的显示量化技术，主要内容为如何对 彩色数字视频序列的颜色进行量化处理，选用2 5 6 种有代表性的颜 色，效果相对较佳地再现该视频v o b 。 第六章：介绍c 6 x ，p c 视频系统软、硬件连调调试方法及结果。 最后是结束语、参考文献、致谢和个人简历。 6 电子科技大学硕士学位论文 第二章c 6 x p c 视频系统总体方案设计 本章主要讨论c 6 x p c 视频系统的任务要求、功能及功能模 块的划分、初步介绍软硬件实现方案。 2 1 视频系统的任务描述和分析 2 1 1 任务描述 c 6 x p c 视频系统的输入信号是红外摄像机提供的模拟或数字 视频信号。该系统通过基于c 6 x 系列高速d s p 的数字视频处理卡， 实时的处理红外数字视频序列，完成对运动目标的搜索、捕获、跟 踪、记忆。并且在p c 机上实时显示红外视频图像，实时给出运动 目标的空间坐标，产生运动目标区域的特征数据，完成运动目标区 域图像的实时存储或远程传输。 2 1 2 任务分析 1 运动目标特性： 运动目标：运动的飞机、导弹等飞行器目标，基本可视。 目标速度：小于2 0 像素场。 目标大小：初始搜索状态为4 像素1 4 视场。 2 背景特性： 背景：天空、地物等。 干扰目标：鸟、太阳、云层、地物等。 2 视频数据的特征： 1 模拟输入：c c i r 视频制式的黑白视频信号( 5 0 场秒) ； 2 数字输入：采用r s 4 2 2 传输协议，像素精度1 4 b i t ； 3 每场视频图像的数据量：3 2 0 2 4 0 = 7 6 ，8 0 0 ( 像素场) ： 乜子科技大学硕士学位论文 4 视频数据的速率：7 6 ，8 0 0 5 0 = 3 ，8 4 0 ，0 0 0 ( 像素秒) 2 2 视频系统的设计要求 根据系统的总体设计，c 6 x p c 视频系统要求完成以下的任务： 1 能够实现模拟和数字视频信号的兼容，即用户可以选择切换视 频信号的输入方式，系统可以根据用户的选择完成相应的处理。 对模拟视频：数字化时精度要求精度为8 b i t p ix e l ；对数字视 频：传输按r s 4 2 2 协议接收数据，精度为14 b i t p ix e l ： 2 能够在主机监视器上实时( 2 0 m s ) 显示原始红外图像数据( 在 红外场景监测模式下) ； 3 从搜索到捕获时间要求为：0 2 一1 0s ； 4 从搜索到跟踪时间小于6 0 m s ； 5 目标跟踪处理时间小于2 0 m s ； 6 系统具有自动目标跟踪和指定目标跟踪两项功能； 7 系统能被人为中断当前工作状态并强制进入某些工作模式； 8 实时( 2 0 m s ) 输出目标的位置、系统工作状态； 9 实时存储目标邻域原始红外图像数据，并能实现这些图像数据 的再现； 1 0 系统上层应用程序具有友好的用户界面，操作方便，整齐美观。 2 3 视频系统的功能描述和模块划分 本课题所要实现的c 6 x - p c 视频系统是基于计算机( 以工控机 作为主控计算机) 。根据系统的任务要求，系统具备的功能如图2 1 所示： 功能模块f 1功能模块f 2功能模块f 3功能模块f 4 图2 1 c 6 x p c 视频系统的功能模块图 电子科技大学硕士学位论文 1 视频信号的数字成像与存储功能( f 1 ) ：它包括视频信号的采集， 预处理，把输入的视频信号( 模拟信号或者数字信号) 转换成 系统能够进行处理的数字图像数据，并且按照一定的组织结构 放在确定的存储区域； 2 数字图像处理功能( f 2 ) ：运用相关的图像处理算法来实现目标 的识别与跟踪，该功能主要在系统硬件板卡上实现，这部分是 目标识别与跟踪系统的核心部分； 3 与主控计算机的数据交换功能( f 3 ) ：由于目标识别与跟踪系统 是工作在主控计算机上的，所以只有在系统硬件板卡和主控计 算机之间实现了有效的数据交换功能，才能使二者成为一个有 机的整体有效的工作； 4 系统控制与管理功能( f 4 ) 。该功能模块在上层应用程序软件中 实现，主要是实现用户通过主机对目标识别与跟踪系统的操作、 控制和管理，同时还实现一些辅助功能，这些功能可以帮助用 户有效的了解系统工作状况，以及实现部分附加功能。比如视 频图像的实时显示，目标图像数据的存储，目标特性分析，系 统的远程控制，数据的网络传输等。 2 4 视频系统的层次划分与分层描述 为了大家理解整个运动目标识别与跟踪系统的功能，我们仿照 i s o 七层模型，对该系统进行功能上的层次划分和分层描述。把这 个系统划分为四个相对独立的层次：硬件层、d s p 软件层、驱动程 序层、应用层，各层次之间的关系为：下层为上层提供服务，是上 层实现的基础。如图2 2 所示： 应用层 驱动程序层 d s p 软件层 硬件层 图2 2c 6 x - p c 视频系统的功能分层图 9 电子科技大学硕士学位论文 从图中可以看出构成c 6 x p c 视频系统的四个层次的功能是： 1 处于系统最底层的是系统的硬件层，它是整个系统最基本的支 撑平台，它的稳定运行是系统软件正常工作的前提；从通信的 观点来看，它是最初的信息提供者，是最初的信源； 2 处于第二层的是d s p 软件层，它主要功能是对数字视频图像进 行处理，实现对场景的实时观测和运动目标的识别与跟踪，它 给驱动程序层提供数字视频图像和运动目标的数据； 3 第三层是系统的驱动程序层，它负责系统底层数据与上层主机 应用程序之间的数据交换以及各种硬件资源的调度与管理： 4 系统的最顶层是应用程序层，它负责与用户进行信息交换，用 户通过它来实现对整个系统的控制和管理，它还根据驱动程序 层送上来的数据向用户提供有用的信息，对目标图像数据及相 关特征数据进行存储和重现。 2 5 视频系统的总体设计 根据系统的任务要求和功能划分，我们可以得到如图2 3 所 示的c 6 x p c 视频系统的组成结构。从大的方面来看，可以把 c 6 x p c 视频系统分解为系统硬件和系统软件两大部分： 1 0 系统硬件 屯子科技大学硕士学位论文 采集处理卡 目标识别与跟踪系统 系统软件 图2 3 红外运动目标识别与跟踪系统的结构 一、硬件部分 硬件为系统完成任务提供硬件支持平台，因此硬件系统是实现 熬个系统功能的物理基础。为了实现该系统的功能，硬件部分应该 包括以下几个部分： 1 模拟数字视频接口； 2 数字视频图像存储器； 3 数字视频图像处理单元( 即d s p 处理器) ； 4 p c j 总线接口； 5 控制逻辑电路。 二、软件部分 系统功能的实现主要是由软件部分完成的，软件部分工作于硬 件平台之上，利用其提供的物理资源来完成系统功能。软件部分主 要可以分为以下几个部分： 1 运动目标的识别与跟踪软件( d s p 软件) ； 2 图像处理卡( p c i 板卡) 的驱动程序； 3 主机控制程序。 k仿真一1j主机输入输出 一 图鬯南引鼢 唧软件 唧识剐跟踪时初始化包 脚处理器 哪接口 存储器 l 乜子科技大学硕士学位论文 第三章c 6 x p c 视频系统硬件的设计与实现 3 1 视频系统硬件的设计原则 在实际的硬件系统设计过程中，有许多因素是必须考虑的。因 为这些因素决定了设计出来的硬件系统是不是一个最经济、最可 靠、最优化的系统。所以我们在设计硬件系统的时候必须遵循以下 几个原则： 1 硬件系统应具有较高的稳定性和可靠性，在有较强电磁干扰的 环境下也能正常工作。 2 对于速度要求不是特别高的硬件系统，应尽可能用软件来实现 系统功能，以减轻硬件设计的复杂性。另一方面，在系统方案 已经确定的情况下，硬件系统应发挥最大的 3 硬件系统应具有较强的功能扩展能力。在现代硬件系统设计中， 该系统的功能扩展能力是设计者考虑的一个非常重要的因素。 因为如果该硬件系统具有很强的功能扩展能力，那么我们只需 要一个通用的硬件平台，在不同的应用场合下，使用不同的上 层软件就可以实现不同的功能，这样就极大的减少了硬件设计 的开发费用。另一方面，控制逻辑可编程还有利于硬件系统调 试，降低了硬件设计的设计风险。 4 降低硬件系统开发成本。在选择器件的时候，应从系统的功能 指标出发选择经济实惠的器件，而不是片面追求功能大而全的 新器件。 3 2 视频系统硬件的功能指标 一、 目标跟踪系统对视频数据输入方式的选择及处理精度要求 1 能够自动切换视频信号的输入方式，就是说用户能选择视频信 号的输入方式：这就要求硬件系统既能处理模拟通道的视频数 1 2 电子科技人学硕士学位论文 据，又能处理数字通道的视频数据； 2 模拟视频数字化精度要求：a d 精度为8 b i t ； 3 数字视频通道的要求：按r s 4 2 2 传输协议接收数据，像素精度 1 4 b i t 。 、 1 2 3 4 5 数字视频处理要求 每场图像处理时间： 2 0 毫秒； 搜索到捕获时间：0 2 1 秒； 捕获到跟踪时间： 6 0 毫秒； 5 0 场秒实时识别、跟踪运动目标( 即当前场数据必须在下一场 数据到来之前处理完毕，并由计算机输出处理结果，显示数字 视频图像) ，并给出目标位置及领域图像； 硬件板卡( 即p c i 板卡) 与主控计算机的物理接口为p c i 总线 接口 3 3 视频系统硬件的总体方案 3 3 1 硬件系统结构 前面的章节，我们已经讨论了运动目标识别与跟踪系统的功能 和在实际应用对该系统性能上的要求。从而我们提出了以高性能 d s p 器件( c 6 2 0 2 ) 为核心的数字图像处理系统。运动目标识别与 跟踪系统的硬件结构如图3 1 所示： 电子科技大学硕士学位论文 图3 1c 6 x p c 视频系统的硬件结构图 3 3 2 硬件模块设计 其中：功能模块，由硬件单元f s l 完成； 功能模块，2 由硬件单元f s 2 完成； 功能模块f 3 由硬件单元f s 3 完成； 功能模块f 4 由主机完成； 硬件单元f s 4 是系统的控制逻辑 参照系统的功能模块图和系统的硬件结构图，我们可以把整个 硬件系统定义为，s ，硬件系统的各个子模块定义为，研，则有： 4 f s = u f s , i = l 下面我们逐来讨论各个硬件模块的设计实现。 一、f s ，：视频信号的数字成像模块 ，s ，模块主要功能是把红外摄像机的视频输入信号转化层系统 能够处理的数字图像数据。这个模块我们可以把它看成由：视频接 口、输入缓冲f i f o 、数字图像存储器( s r a m ) 三部分组成。 1 4 皇王型苎查堂堡圭堂垡堡苎一 一 3 其中：视频接口模块= u f s , ，； 输入缓冲f i f o = f s l 4 仁】 数字图像存储器= f s l 5 ； 所以：f s l = u v s , i 1 、视频接口部分( f s ，、f s l2 、f s i ) ： 视凝摄口舔分由：f s h 、f s i2 、f s l3 三部分组成。 f s ，? 模拟视频信号数字化芯片( k s 0 1 2 7 ) ； f s ，2 ；数字视频信号差分接收器( a m 2 6 l s 3 2 a ) ； f s ，：5 v 信号到3 3 v 信号转换( i d t q 3 2 x l 3 8 4 ) c 6 x p c 视频系统的视频源是：红外摄像机提供的视频信号。 红外摄像机有两路视频输出，即模拟视频输出和数字视频输出。本 系统要求视频处理卡对两路视频信号都能够进行处理。因此，必须 对输入视频信号进行预处理，为数字图像处理模块( d s p ) 提供必要 的视频数据和视频同步数据。由于视频信号有模拟和数字之分，因 此，可以把视频接口部分分为两个方面。 ( 1 ) 视频接口结构模块图( 如图3 2 所示) 视频接口模块 l2 45 7 6 m h 。l l | 土 电 模拟枧赣膏号 视频a d 平 数字i9 像数据 f s l l转 和同步信号 换 f s l 8 数字税势雌号 差分接收器 f s l 2 图3 2 视频接口结构模块图 ( 2 ) 拟视频接口( f s jj ) 模拟视频按i ：1 要完成对模拟视频信号的数字化。它的输入是模 电子科技丈学硕士学位论文 拟视频信号，输出是数字视频信号和视频同步信号( 场、行同步信 号) 。红外摄像机提供的模拟视频信号是：c c i r 制式的黑白视频图 像。 系统对它的要求是：能处理c c i r 制式的黑白视频图像数字 化精度为：8 b i t 。根据以上的要求，我们选用的视频转换芯片是： s a m s u n g 公司的k s 0 1 2 7 ，它是专用视频芯片，能把模拟视频信 号转化为数字视频信号，同时输出视频同步信号，如：行场同步、 奇偶场同步信号。在视频信号制式和数字化精度方面都可以满足我 们的要求。 ( 3 ) 数字视频接口( f s 2 ) 红外摄像机提供的数字视频信号是按r s 4 2 2 数据传输协议进 行数据传输的。根据r s 4 2 2 协议标准，数据是用平衡发送、差分 接收方式进行数据传输。我们选用的r s 4 2 2 差分接收器是：t i 公 司的a m 2 6 l s 3 2 a 差分接收器。它具有4 路差分接收通路。 ( 4 ) 电平转换器( f s j ) 由于硬件系统的前端器件的工作电压是5 v ( 视频a d 和差分接 收器都是5 v 器件) ，而后端的器件处理的信号都是3 3 v ，所以在 前端和后端之间需要对信号的幅度进行转换。i d t 公司的 i d t q 3 2 x l 3 8 4 可以完成5 v 信号到3 3 v 信号的转换。它支持双向 数据传送；能完成5 v 信号到3 3 v 信号伏的转换；同时它还带有输 出使能端的总线开关。 2 、输入缓冲f i f o ( f s l 4 ) 设置输入缓冲f i f o 的目的在于：在高速器件和低速器件之间 设置一个缓冲区，这样就可以避免高速器件因等待低速器件的数据 而使硬件系统的工作效率变低。该硬件系统的视频数据率大约为 4 m s ，而处理卡上总线的数据传输率高达5 0 m s ，二者差异较大， 所以采用输入缓冲f i f o 是必要的。基于以上考虑，最终选用的缓 冲f i f o 是c y p r e s s 公司生产的c y 7 c 4 2 7 5 。它具有容量达、速度快 的特点。它的容量为3 2 k * l8 ，最大存取速度可达到15 n s 。所以选 取大容量芯片，是为了减少数据传送时对总线申请的次数，从而使 硬件系统的处理效率提高。 1 6 屯子科技大学硕士学位论文 3 、数字图像存储器( f s j 5 ) c 6 x p c 视频系统要完成对运动目标的识别与跟踪。其实现算 法必然涉及到对多帧数字图像的处理。为了给识别与跟踪算法提供 较为充裕的存储空间，我们选用的存储器能容纳6 - 7 场数字图像。 因此，最后选用的存储器是：g s i 公司的两片g s 7 4 1 16 。它的优点 也是：容量大、速度快。其容量为：2 5 6 k t l 6 ，存取速度为：1 2 n s 。 由于我们的数字图像每场的数据量为：7 6 8 0 0 像素，每像素按1 6 b i t 存储，两片2 5 6 k 的s r a m 可以存下6 7 场视频图像。 二、数字图像处理模块( f s ? ) 考虑到红外摄像机的视频信号为：5 0 场秒，运动目标识别与 跟踪系统要对数字图像进行实时处理，每场图像的处理时间不能超 过2 0 m s 。同时，由于图像处理算法对处理器的运算能力由较高的 要求。因此，要求d s p 处理器应具有较高的处理速度。经过对运 动目标识别与跟踪算法进行运算量的估算，需要的指令执行速度大 约为：5 0 0 m i p s 。基于以上考虑，d s p 选用t i 公司的t m s 3 2 0 c 6 2 0 2 芯片，c 6 2 x x 系列是t i 公司的通用高性能d s p 产品。t m s 3 2 0 c 6 2 0 2 芯片在工作主频为2 0 0 m h z 时，其处理速度可达到1 6 0 0 m i p s ，片 内具有可并行操作的八个功能单元，采用v l i w 结构。单指令字长 3 2 b i t ，八个指令组成一个指令包，指令包字长可达2 5 6 b i t 。 其片内存储量( m e m o r y ) 为： d a t am e m o r y ：1 2 8 k 字节； p r o g r a mm e m o r y ：1 2 8 k 字节； c a c h em e m o r y ：1 2 8 k 字节。 片内存储器的读写周期为5 n s ，4 个d m a 信道。其超高性能 可以满足系统的要求。 三、p c i 接口电路( f s 3 ) 由于硬件系统与p c 机的接口是p c i 接口。为了充分发挥p c i 总线的数据传送能力，p c i 接口电路采用p c i 9 0 5 4 芯片来实现的。 它是p c i 总线专用接口芯片，具有数据传送快、数据传送简单的优 点。在3 3 m h z 的p c i 总线工作频率下，它的最大数据吞吐能力为 13 2 m b s 。通过应用该接口芯片的软件开发包可以节省开发时间， 屯子科技大学硕士学位论文 减少运动目标识别与跟踪系统开发的工作量。 四、可编程控制器( f s 4 ) 硬件系统的硬件逻辑控制电路是采用大容量的f p g a 来实现 的。通过一片大容量的f p g a 实现对所有器件的逻辑控制，如：输 入缓冲f 1 f o 、s r a m 、视频接口电路、d s p 、p c i 接口电路等的控 制。基于这些考虑，控制逻辑电路的设计采用的芯片是：x i l i n x 公 司的大规模f p g a 一一x c v 5 0 e 来完成。利用f p g a 芯片的系统内 可编程( i s p ) 性能，完成所有d s p 外围芯片的控制逻辑，并可在 其中设置状态寄存器、命令字寄存器和专用寄存器，以便与主机控 制程序进行实时通信，接收主机控制程序传送的命令信息和通过驱 动程序向主机控制程序传送所需要的状态信息。 3 3 3 硬件系统的工作原理及流程 一、视频数据流分析 1 、视频数据流框图( 如图3 3 所示) 图3 3 视频数据流框图 2 、视频处理卡的数据转移流程 1 1 数字或模拟视频信号从红外摄像机进入视频接口模块， 由视频接口电路采集、处理原始视频信号，得到统一的 数字视频数据和视频同步信号； 2 ) 数字视频数据从视频接口模块进入输入缓冲f i f o ，当 f i f o 到达半满状态时，由控制逻辑电路发出读取f i f o 屯子科技大学硕士学位论文 数据的请求。控制逻辑电路向d s p 申请e m i f 接口总线 的占用权，等到d s p 把总线释放给控制逻辑电路以后， 由控制逻辑电路读取f i f o 中的数据，写入到s r a m 中。 在这个过程中，控制逻辑电路还要把两个1 6 位的图像数 据装配成3 2 位的图像数据； 3 ) 当控制逻辑电路向s r a m 写完一帧图像数据时，它向 d s p 发出图像存放完成中断； 4 ) d s p 开始从s r a m 中读取数据，然后进行处理，并将处 理结果通过驱动程序送给主机控制程序，同时d s p 将当 前帧的视频数据进行组装，即将一个8 位的图像数据转 换成按r g b 格式存放的3 2 位图像数据，送到s r a m 中， d s p 装配完一帧图像后，向f c l 9 0 5 4 发送中断，表示图 像数据已经准备好了； 5 ) f c i 接口电路读取s r a m 中装配好的视频数据和处理结 果，并由它送往主机控制程序，实时显示视频图像和运 动目标的一些特征数据。 c 6 x p c 视频系统硬件的工作流程 硬件系统工作流程图( 如图3 4 所示) 与 图3 4 系统的工作流程图 1 9 电子科技大学硕士学位论文 2 、工作流程说明 首先进行系统上电后，f p g a 进行程序加载，对d s p 进 行复位。查看硬件系统各部分是否进入正常工作状态，将检 测结果送往主机控制程序。然后对a d 进行初始化，检测命 令字寄存器确定图像的输入方式和系统的工作方式，若主机 控制程序未指定，则进入等待状态，直到用户指定硬件系统 的工作方式为止，对d s p 加载程序，主机控制程序对寄存器 写命令字启动d s p 进入工作状态，硬件系统进入正常工作状 态。 硬件系统的主要特点： 】超高速的处理能力：t m s 3 2 0 c 6 2 0 2 的峰值运算速度可达到 1 6 0 0 m i p s ，片内八个并行单元，超长指令字( v l i w ) 结构， 保证每个时钟周期并行执行八条指令。使得该硬件系统具有 极高的处理能力。 2 强大的数据存储能力：由于使用了高速、大容量的板上内存 s r a m ，使硬件系统的数据存储能力很强，可同时保存四帧 图像数据，为图象处理算法的实现提供较强的硬件支持。 3 使硬件系统具有软件升级的能力：设计中控制模块采用了大 规模a s i c 芯片，将d s p 外围芯片的控制逻辑全部集成在了 一片可编程芯片中，使得可以通过软件更改的方法更改系统 结构，适应各种不同算法要求。 4 硬件系统的结构清晰而简单：该系统最大限度的减少了硬件 板上芯片的数量，优化了硬件结构，这对于高频电路来说是 至关重要，它保证了视频处理卡的工作的稳定性。同时，也 使硬件系统的研制费用最低。 电子科技大学硕士学位论文 第四章c 6 x p c 视频系统软件的设计与实现 根据前面功能模块的划分，整个系统软件包括三个大的部分： 主机应用程序、驱动程序、d s p 程序，各个程序之间的关系可用图 4 1 表示 主机应用程序 i 息流1 f1 数据流 ， 驱动程序( p c i 驱动程序) i 息流j fj f 数据流 d s p 程序f 底层板卡应用 图4 1 系统软件结构 本章先简单介绍d s p 程序和驱动程序，对于本人参与设计和 开发的主机应用程序则予以详细的介绍。 4 1 d s p 软件的设计 一、d s p 软件的算法模型 红外运动目标识别与跟踪的算法由d s p 软件来实现。下面就 运动目标识别与跟踪的软件算法模型作一个一般性的讨论。 一个d s p 软件在通常情况下的工作流程如下： 1 观察的数字视频图像中搜索目标图像存在的区域； 2 检测、分割、识别图像目标； 3 确定目标点及其运动轨迹。 c 6 x p c 视频系统软件的数字图像处理部分基本模型如图4 2 所示。 ! ：兰二纠观寨区域采样 ! ：l 叫a 标区域提取 ! 尘土一一标特征描述 _ - - ! 生叫! ；：l i 帮 图4 一lc 6 x p c 视频系统软件的数字图像处理流程图 2 l 电子科技大学硕士学位论文 其中0 1 - 】、0 2 【 、o “ 是运动目标识别与跟踪软件的图像处 理算子。每个算子实现了相应模块的处理功能。 ( )目标区域提取算子o “ 假设：目标可能存在的区域为t ( x ，y ，t k ) ，输入视频图像为 f ( x ，y ，t k ) ，那么 t ( x ，y ，t k ) = 0 1 f ( x ，y ，t k ) ，f ( x ，y ，t k i ) ，f ( x ， y ，t k 一。) 】 n 的取值由系统的处理能力和处理算法决定，一般说来n 2 。 算子0 1 】可以是基于当前帧信号f ( x ，y ，t k ) 的各种分割算子， 如基于灰度信息的分割算子、基于纹理特征的分割算子、基于分形 的分割算子等，也可以是基于序列图像相邻帧信号f ( x ，y ，t k ) 、 f ( x ，y ，t k 1 ) 、f ( x ，y ，t k 一。) 。具体采用哪一种形式的处理 算子，取决于目标与背景图像在哪种域中是可分割的。 ( 二)目标特征提取算子0 2 目标特征提取算子0 2 对处理得到的可能目标区域t ( x ，y ， t k ) 进行特征描述，并在相应特征空间中进行识别运算，判定是否 为目标： s t = 0 2 t ( x ，y ，t k ) 】 对图像识别特征进行描述的算子有很多，比如各种统计矩特 征、各种几何形状特征等。 在实际的运动目标识别与跟踪软件中，软件的识别特征向量s ； 可以表示为： s ；= p t ( t k ) ，s p ( t k ) 】 其中，p l ( t k ) 表示目标形心位置，s 。( t k ) 表示目标的形状参 数。 不管采用哪种形式的特征向量，对于目标特征向量s ：来讲， 都要符合以下几个条件： 1 、可识别性：所建立的目标特征向量s ；要与背景有明显的