（信号与信息处理专业论文）基于dsp的智能监控系统的研究.pdf

东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除 了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获 得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 研究生签名：i i i i ： 望! 旦：墨! 鱼 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档， 可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密 期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括以电子信息形式刊登) 论文的全部内容或中、 英文摘要等部分内容。论文的公布( 包括以电子信息形式刊登) 授权东南大学研究生院办理。 研究生签名： i6 摘要 摘要 智能监控系统是目前监控行业的发展趋势，它以数字视频监控为基础，借助于计算机强大的数据处理 功能，对视频画面中的海量数据进行高速分析，过滤用户不关心的信息，能够为监控者提供有用的关键信 息。其应用广泛，在入侵检测、交通控制、站台安全检测、可疑行为检测等场合中得到了大量应用。其具 体实现也因其应用目的、不同模块的选择及其组合有较大差异。 智能监控系统主要包括三个模块：压缩编码模块，传输模块和计算机视觉模块。压缩编码模块对于图 像压缩而言，j p e ( ；是目前的主流，而j p e g 2 0 0 0 的高效性能将有逐渐取代j p e g 的趋势。对于视频压缩，目 前较常见的有h 2 6 4 、m p e g 4 和h 2 6 3 其中h 2 6 4 以其高效的压缩性能和良好的网络亲和力已成为目前的 主流。对于视频编码的网络传输，r t p r t c p 作为标准得到了广泛的应用，而对于无线传输，串口通信协议 的控制是必须。对于计算机视觉模块来说，运动检测和运动跟踪是其较核心的内容，这些内容已经到了广 泛的关注和研究，但目前为止还没有一种算法能够满足所有应用要求。 本文在文章组织上按照图像视频压缩、图像视频传输、运动检测和运动跟踪展开。但在具体内容中包 括两条主线，一条为实际项目中涉及的串口摄像头的设计与实现，其完成了的功能是基本的定时传送和按 需传送压缩图像给客户端，主要工作是j p e gb a s e l i n e 在d m 6 4 2 上的实现、串口通信协议的设计和实现基 于p c 端调试程序的设计和实现。做为智能监控系统的前端实现，该应用目前有良好的市场价值，并且在 连续发送时，后接传统运动检测模块和跟踪模块能作为低帧速的智能监控系统。 另一条是基于h 2 6 4 的视频监控系统的设计和实现，其中完成的功能是h 2 6 4 在d m 6 4 2 上的压缩编 码，通过r m 腑c p 协议传输给客户端，客户端解码图像的同时进行计算机视觉处理，主要工作是r t p r t c p 协议在d m 6 4 2 上的实现，p c 端的实时解码播放，以及内建的运动检测和跟踪模块的算法设计与实现。运 动检测模块采用了背景减法和时间差法的混合算法，能够检测背景移除情况的发生，从而导致了后面背景 更新的选择更新方法的产生。运动跟踪算法利用了前面接收的h 2 6 4 码流中提取的运动向量，提出了反向 索引图概念，利用该图完成了前后两帧对应m b r 的对应关系的检测，从而完成了运动跟踪过程。 关键字：智能监控系统；j p e g ；r t p r 1 p ；串口通信协议；运动检测：运动跟踪；d m 6 4 2 a b s t r a c t a b s t r a c t i n t e l l i g e n tm o n i t o r i n gs y s t e mi st h et r e n do ft h ed e v e l o p m e n to ft h ec u r r e n tm o n i t o r i n gi n d u s t r y i t sb a s e d o nd i g i 【t a lv i d e om o n i t o r i n g , c o u l da n a l y z et h em a s sd a t ai nv i d e of r a m e sw i t hh i g hs p e e d ，f i l t e rt h ei n f o r m a t i o n w h i c hu s e rd o n tc o n c e mw i t h ，p r o v i d et h ek e yi n f o r m a t i o nw h i c hi sh e l p f u lt ou s e rw i t hp o w e r f u ld a t ap r o c e s s i n g c a p a b i l i t yo ft h ec o m p u t e r i th a sb e e na p p l i e di nm a n yd i f f e r e n to c c a s i o n s ，f o re x a m p l e ，i n t r u s i o nd e t e c t i o n , t r a f f i cc o n t r o l ，s i t es a f e t yi n s p e c t i o n , s u s p i c i o u sb e h a v i o rd e t e c t i o n t h er e a l i z a t i o no fi tm a yd i f f e rn o t i c e a b l ei n t h ec h o s e no fd i f f e r e n tm o d u l ea n dt h ec o m b i n a t i o no f t h em o d u l ew i t hd i f f e r e n tp u r p o s e s i n t e l l i g e n tm o n i t o r i n gs y s t e m m a i n l yc o n s i s t so f t h r e em o d u l e s ：c o m p r e s s i o nc o d i n gm o d u l e ，t r a n s f e rm o d u l e a n dt h ec o m p u t e rv i s i o nm o d u l e f o ri m a g ec o m p r e s s i o np u r p o s e ，j p e gi st h ec u r r e n tm a i n s t r e a m ，j p e g 2 0 0 0 w i t hi t sh i g h p e r f o r m a n c em a yg r a d u a l l yp r e v a i li nt h ef u t u r e f o rv i d e oc o m p r e s s i o n , t h em o s tc o m m o nc o d e c a r eh 2 6 4 ，m p e g 4 ，a n dh 2 6 3 d u et oi t sh i g h l ye f f i c i e n tc o m p r e s s i o np e r f o r m a n c ea n dg o o dn e t w o r kc a p a b i l i t y h 2 6 4h a sb e c o m em a i n s t r e a m f o rt h ev i d e oe n c o d i n gn e t w o r kt r a n s m i s s i o n , r t p r t c pa r ew i d e l yu s e da st h e s t a n d a r d s ，a n df o rw i r e l e s st r a n s m i s s i o n , t h ec o n t r o lo fs e r i a lc o m m u n i c a t i o np r o t o c o li sn e c e s s a r y f o rt h e c o m p u t e rv i s i o nm o d u l e s ，m o t i o nd e t e c t i o na n dm o t i o nt r a c k i n gi sc o r ec o m p o n e n t , w h i c h h a sa t t r a c t e dm a n y r e s e a r c h e r s i n t e r e s t i n ga n da t t e n t i o n , b u tt h e r ei sn os i n g l em e t h o dc a l lm e e ta l la p p l i c a t i o nr e q u i r e m e n t ss of a r i nt h i sp a p e r , t h eo r g a n i z a t i o ni na c c o r d a n c ew i t ht h ea r t i c l ei sd i v i d e di n t ot h r e ep a r t s ：i m a g ev i d e o c o m p r e s s i o n , i m a g ev i d e ot r a n s m i s s i o n , m o t i o nd e t e c t i o na n dm o t i o nt r a c k i n g h o w e v e r , i nt h es p e c i f i cc o n t e n t t h e r ea r et w om a i nl i n e s ；o n ei st h es e r i a lc a m e r ad e s i g na n di m p l e m e n t a t i o nw h i c hi n v o l v e di nt h ea c t u a lp r o j e c t t h em a i nf u n c t i o ni ss e n d i n gt h ec o m p r e s s e di m a g et ot h ec l i e n tw i t ht i m i n go ro n - d e m a n d , t h em a i nw o r ki s r e a l i z a t i o no fj - p e gb a s e l i n ea n dt h es e r i a lc o m m u n i c a t i o np r o t o c o ld e s i g na n di m p l e m e n t a t i o no nt h ed m 6 4 2 ，i n a d d i t i o n ，ap c - b a s e dd e b u g g e ri sa l s od e s i g n e da n di m p l e m e n t e d a saf r o n t - e n dr e a l i z a t i o no ft h eb a s i c m o n i t o r i n gs y s t e m ，i tc o u l db ee x t e n d e dt ol o wf r a m er a t ei n t e l l i g e n tm o n i t o r i n gs y s t e mw i t hc o n t i n u o u s l y s e n d i n gf r a m e ，f o l l o w e db yt h et r a d i t i o n a lm o t i o nd e t e c t i o nm o d u l ea n dt r a c k i n gm o d u l e t h eo t h e rl i n ei sd e s i g na n di m p l e m e n t a t i o no ft h ev i d e os u r v e i l l a n c es y s t e mb a s e do nt h eh 2 6 4 t h em a i n f u n c t i o ni st r a n s m i t t i n gt h eh 2 6 4c o m p r e s s i o nc o d i n gs t r e a mt h r o u g ht h e 姗| r t c pp r o t o c o lt ot h ec l i e n t , t h e c l i e n td e c o d e st h ef r a m ea f t e rr e c e i v i n gp a c k e ta n dd ot h ec o m p u t e rv i s i o np r o c e s s i n ga ts a m et i m e ，t h em a i n w o r ki sr e a l i z a t i o no fr t p | r t c pp r o t o c o lo nt h ed m 6 4 2 ，r e a l i z a t i o no ft h er e a l - t i m ed e c o d i n gp l a y b a c kp l a y e r o np cs i d e 雒w e l l 勰t h ed e s i g na l g o r i t h ma n di m p l e m e n t a t i o no fb u i l t - i nm o t i o nd e t e c t i o na n dt r a c k i n gm o d u l e m o t i o nd e t e c t i o nm o d u l eu s e st h e h y b r i da l g o r i t h mw h i c h u t i l i z e st h eb a c k g r o u n ds u b t r a c t i o na n dt i m e - d i f f e r e n c e m e t h o d ，c o u l dd e t e c tt h es i t u a t i o nw h i c ht h eb a c k g r o u n db er e m o v e d t h i sr e s u l tf o rt h eh y b r i dc h o s e nu p d a t e a l g o r i t h m f o rm o t i o nt r a c k i n g , ac o n c e p to fi n v e r t e di n d e xm a pi sp r o p o s e d , b a s eo nt h i sm a p ，w ec a nr e g i s t e r c u r r e n tm b rw i t hm b ri nl a s tf r a m e t h u sc o m p l e t i n gt h ep r o c e s so fm o t i o nt r a c k i n g k e y w o r d s ：i n t e l l i g e n tm o n i t o r i n gs y s t e m ，j p e g , r t p r t c p , s e r i a lp o r t c o m m u n i c a t i o np r o t o c o l ，m o t i o n d e t e c t i o n , m o t i o nt r a c k i n g ，d m 6 4 2 i i 目录 目录 摘要i a b s t r a c t 目录 缩略语注释表v 第一章绪论1 1 1 研究背景1 1 2 研究现状1 1 2 1 应用范围及现有系统介绍l 1 2 2 各项技术的发展2 1 2 2 1 图像视频编码的发展2 1 2 2 2 网络传输协议的发展3 1 2 2 3 目标检测和跟踪算法的发展4 1 2 2 3 1 目标检测4 1 2 2 3 2 目标跟踪4 1 3 论文的主要内容与组织结构5 1 4 论文基本方法和创新6 第二章图像视频编码7 2 1 引言7 2 2j p e g 编码7 2 2 1 基本原理8 2 2 2 颜色空间与采样8 2 2 3j p e g 编码的实现1 0 2 3h 2 6 4 编码1 7 2 3 1 基本档次( b a s e l i n ep r o f i l e ) 简介1 9 2 3 2 码流结构2 1 2 3 3f f 盈l p e g 解码2 2 2 4 本章小结2 3 第三章图像视频传输2 5 3 1 引言2 5 3 2r t p r t c p 协议2 5 3 2 1r t p r t c p 协议简介2 5 3 2 2r t p r t c p 协议的主要内容2 5 3 2 3r t p r t c p 协议的实现3 2 3 2 3 1n d k 简介3 2 3 2 3 2n d k 的配置和u d p 通信的实现3 3 3 2 3 3r t p r t c p 通信的实现3 4 3 2 3 4r t p r t c p 通信q 0 s 的探讨3 7 3 3s p c p 3 8 3 3 1 串口通信简介3 8 3 3 2 串口通信协议设计3 8 3 3 3d m 6 4 2 上串口通信协议实现4 0 i 目录 3 4 本章小结4 3 第四章运动检测和跟踪4 5 4 1 引言4 5 4 2 运动检测4 5 4 2 1 常用方法介绍4 5 4 2 1 1 光流法4 6 4 2 1 2 时间差分法4 8 4 2 1 3 背景减除法4 9 4 2 2 本文用到的方法5 0 4 2 1 1 初始背景建立方法5 1 4 2 1 2 自适应阈值5 2 4 2 1 3 阴影祛除5 3 4 2 1 4 形态学处理5 4 4 2 1 5 外接矩形标记5 5 4 2 1 5 标记区域分析5 7 4 2 1 6 背景更新5 8 4 3 运动跟踪6 0 4 4 高层应用6 3 4 5 本章小结6 3 第五章系统集成与总结6 5 5 1 系统集成6 5 5 2 工作总结6 8 5 3 下一步展望6 9 致 射7 1 参考文献7 3 i v 缩略语注释表 缩略语 c c t v i v s 3 p f m d e r v s a m c i f q c i f 伊e g m 【p e g v c e g d w t d c t 3 g p p 3 g p i m s m m s p s s u v l c c a v l c c a b a c d v b m g c p s c c p s i p q o s s c t p d c c p s p c p r t p 瓜t c p p a l n t s c s e c a m m c u d p c m j f i f v c l n a l s c o m c r c m | b r 缩略语注释表 英文注释中文注释 c l o s e dc i r c u i tt e l e v i s i o n闭路电视监控系统 i n t e l l i g e n tv i d e o 智能视频监控 s m a r ts u r v e i l l a n c es y s t e m智能监控系统 p e r s o nf i n d e r 人员查找系统 v i d e os u r v e i l l a n c ea n dm o n i t o r i n g 视频监控 c o m m o ni n t e r f a c ef o r m a t通用接口格式 q u a r t e rc o m m o ni n t e r f a c ef o r m a t 四分之一通用接口格式 j o i n tp h o t o g r a p h i ce x p e r t sg r o u p联合图像专家组 m o v i n g p i c t u r ee x p e r t sg r o u p 运动图像专家组 v i d e oc o d i n ge x p e r t sg r o u p 视频编码专家组 d i s c r e t ew a v e l e tt r a n s f o r m 离散小波变换 d i s c r e t ec o s i n et r a n s f o r m 离散余弦变换 1 1 1 i r dg e n e r a t i o np a r t n e r s h i pp r o j e c t 第三代移动通信合作计划 3 g p pf i l ef o r m a t3 g p p 文件格式 i pm u l t i m e d i as u b s y s t e m i p 多媒体子系统 m u l t i m e d i am e s s a g i n gs y s t e m彩信系统 p a c k e ts w i t c hs t r e a m 包交换流 u n i v e r s a lv a r i a b l el e n g t hc o d i n g 通用变长编码 c o n t e x t - a d a p t i v ev a r i a b l e - l e n g t hc o d i n g 对内容具有适应性的变长编码 c o n t e x t - a d a p t i v eb i n a r y a r i t h m e t i cc o d i n g 对内容有适应性的二进制算术编码 d i g i t a lv i d e ob r o a d c a s t i n g 数字视频广播 m e d i ag a t e w a yc o n t r o lp r o t o c o l 媒体网关控制协议 s i g n a l l i n gc o n n e c t i o nc o n t r o lp a r t 信令连接控制协议 s e s s i o ni n i t i a t i o np r o t o c o l 初始会话协议 q u a l i t yo fs e r v i c e服务质量 s t r e a mc o n t r o lt r a n s m i s s i o np r o t o c o l流控传输协议 d a t a g r a mc o n g e s t i o nc o n t r o lp r o t o c o l 数据包拥塞控制协议 s e r i a lp o r tc o m m u n i c a t i o np r o t o c o l 串口通信协议 r e a l - t i m et r a n s p o r t ( c o n t r 0 1 ) p r o t o c o l 实时传输协议实时传输控制协议 p h a s ea l t e r n a t i n gl i n e 逐行倒相 n a t i o n a lt e l e v i s i o ns y s t e mc o m m i t t e e美国国家电视标准委员会 s 6 q u e n t i a lc o u l e u r a v e cm 6 m o i r e ( 法语) 顺序传送彩色与存储 m i n i m u mc o d e du n i t 最小编码单元 d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n 差分脉码调制 j p e gf i l ei n t e r c h a n g ef o r m a t j p e g 文件交换格式 v i d e oc o d i n gl a y e r 视频编码层 n e t w o r k a b s t r a c t i o nl a y e r 网络抽象层 s y n c h r o n i z e dc o m m u n i c a t i o nm o d u l e 同步通信模块 c y c l i cr e d u n d a n c yc h e c k 循环冗余校验 m i n i m u mb o u n d i n gr e c t a n g l e 最小包围矩形 v 第一章绪论 第一章绪论弟一早三百下匕 1 1 研究背景 随着全球经济高速发展，社会进步的步伐越来越快，新事物层出不穷，大量的基础设施 建设带来的不仅是城市现代化的大幅革新，也使得新设备的自动化、可视化、智能化问题越 来越成为一个十分重要的问题。 本文来源于参与研究的全自动气象站系统的可视化部分，该系统是集气象数据采集、存 储、传输和管理于一体的无人值守的气象采集系统。它在工农业生产、旅游、城市环境监测 和其它专业领域都有广泛的用途。与传统气象站系统的一个比较大的区别是该系统具有一个 可视化模块，对于气象数据的剧烈变动，该可视化模块能够提供现场情况的图像资料以提供 辅助判别是否是虚警情况。由于传统串口摄像头功能单一，不具备后期功能升级的可能，而 且其分辨率也达不到我们的要求，对于分包的操作也不够灵活。在我们的系统中采用了d m 6 4 2 作为系统可视化模块的平台，这样就使我们的系统有了一块芯片处理多个摄像头的可能。作 为该模块功能的加强，我们增加了视频监控的功能，这也只能在像d m 6 4 2 这样的高级d s p 处 理器上才可能实现，最后我们研究了其智能化功能，以期将其推广到其他应用中。 视频监控的发展经历了全模拟视频监控，数字化视频监控，网络视频监控三个阶段的发 展演变，目前正朝着智能化的方向发展。 全模拟的视频监控系统，也称闭路电视监控系统( c c t v ) 。图像信息采用视频电缆，以模 拟方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监控图像一般只能在控 制中心查看。全模拟视频监控系统以模拟视频矩阵和磁带式录像设备v c r 为核心。 随着数字技术的发展，数字视频监控系统从2 0 世纪9 0 年代中期开始出现，以数字控制 的视频矩阵替代原来的模拟视频矩阵，以数字硬盘录像机d v r 替代原来的长延时模拟录像机， 将原来的磁带存储模式转变成数字化存储录像，实现了将模拟视频转为数字录像。d v r 集合 了录像机、画面分隔器等功能，跨出数字监控的第一步。在此基础上产生了全数字的视频监 控系统，可以基于p c 机或嵌入式设备构成监控系统，并进行多媒体管理。 随着宽带网络的普及，视频监控逐渐从本地监控向远程监控发展，出现了以网络视频服 务器为代表的远程网络视频监控系统。网络视频服务器解决了视频流在网络上的传输问题， 从图像采集开始进行数字化处理、传输，这样使得传输线路的选择更加多样性，只要有网络 的地方，就提供了图像传输的可能。 虽然数字视频监控系统实现了视频监控手段的数字化、网络化和集成化，但是它存在一 个最主要的缺陷缺乏智能，在很大程度上依赖于人的判断。然而，人类有着自身难以克 服的弱点，比如：( 1 ) 人力有限，人的反应与处理速度有限，导致我们在指定的时间内能够 进行监视的地点有限。这也就意味着各个被监控点并非每时每刻都处于监控当中。( 2 ) 人并 非一个可以完全信赖的观察者，无论是在观看实时的视频流还是在观看录像回放的时候，由 于自身生理上的弱点，我们经常无法察觉安全威胁，从而导致漏报现象的发生。 鉴于数字视频监控系统的以上缺陷，近年来有关研究人员提出了智能视频监控技术。智 能视频监控( i v - - i n t e l l i g e n tv i d e o ) 是网络化视频监控领域最前沿的应用模式之一，它以数 字视频监控系统为基础，借助于计算机强大的数据处理功能，对视频画面中的海量数据进行 高速分析，过滤用户不关心的信息，仅仅为监控者提供有用的关键信息这样既减轻了监控 工作入员的负担。降低了误报，漏报现象的发生，又能自动进行视频行为分析，及时识别可 疑人员和可疑活动，提醒( 或警报) 安全工作人员关注相关视频画面。有足够的时间对潜在( 或 正在发生) 的威胁进行处理，也就是通常所说的，“事前处理”，真正起到安全防范的作用；另 东南大学硕士学位论文 外从技术层面上讲还能进一步减小视频信号传输所需带宽，节省视频服务器的容量空间， 节约了资源，这样就使视频监控系统具有主动性。真正体现出智能化的特点。 1 2 研究现状 1 2 1 应用范围及现有系统介绍 现在的计算机技术、数字信息处理技术和图像技术的结合使得图像自动检测、视频信号 分析成为现实，尤其是计算机视觉相关算法和技术的综合应用，使得视频监控系统具有自我 学习环境，自适应环境变化的能力，从复杂的数据集合中辨认出有关行为和类型，并可提供 操作命令、数据和信息，最终提高了监控工作效率实理了视频监控系统的智能化。智能视 频监控系统的核心技术就是视频信号的分析处理。根据技术处理的层次高低，智能视频监控 技术在软件实现上可以分为视频信号的基本处理和高级处理。智能视频监控系统的基本处理 技术包括动态目标的检测、分类和跟踪等，高级处理技术主要是指视频模式识别技术，有人 脸识别技术和行为模式分析技术等。 智能监控系统既能用于安全监控，也能用于非安全监控【l j 。安全监控包括1 ) 高级视频移 动侦测，具体可进行入侵检测，站台安全侦测，边界侦测，盗窃侦测，可疑行为侦测，涂鸦或 破坏公物侦测，丢弃物品侦测和细微物品侦测，跌倒或滑到侦测等。2 ) 高级视频识别侦测， 包括人物面部识别，物体追踪，车辆识别，非法滞留识别等。而非安全监控可包括1 ) 人数统 计( 统计穿越入口或指定区域的人或物体的数量) 2 ) 人群控制( 识别人群的整体运动特征， 包括速度、方向等) 3 ) 注意力控制( 统计人们在某物体前停留时间) 4 ) 交通流量控制( 例 如统计通过的车辆数和平均车速，是否有非法停靠，是否有故障等) 。 可见智能监控应用十分广泛，实际中也有大量系统投入实际应用，根据应用目的不同， 偏重也有所不同，现做一简单介绍。 i b m 公司推出的s 3 系统【2 】在2 0 0 8 年北京奥运会上得到了应用，该系统不仅能自动对场景 进行监控，并且能够管理监控数据，进行基于事件的检索，通过标准网络接口接收实时事件 报警，和抽取长期行为的统计模式。l e e d s 和r e a d i n g 大学开发的集成交通及行人监控系统1 3 j 包括两种不同的基于模型的方法，其中用主动形态模型来跟踪非刚性物体，用几何三维模型 来跟踪刚性物体，其系统己近能够自动对图像序列标注，如“行人n 正慢慢走到停着的车m 前”。o u l u 大学开发的系引4 j 能够对骑自行车的人和行人进行监控，他们使用k a l m a n 滤波来 进行跟踪，学习矢量量化来对行人分类，克服了传统方法需要对骑自行车和行人手动计数的 缺点，能够达到8 0 - 9 0 的准确性。伦敦国王学院开发的系统【5 】能够自动检测地铁站台上过度 拥挤的情况，并及时向站台工作人员报警采取行动避免危险情况的出现。该系统用到了背景 减法和更新技术，并引入了方差滤波器最优移除背景点，多层前馈神经网络用来对拥塞程度 进行分类。加州大学和斯坦福大学开发的高速公路监控系统1 6 j 能够合理估计不同车道上的交 通速度使及时发现拥塞称为可能，其方法包括两个阶段，一个是道路建模阶段，一个是车辆 跟踪阶段。道路建模阶段利用一些初始帧来生成背景道路图像，跟踪阶段通过分割每辆车并 跟踪，映射其坐标到道路的3 d 模型上，并且估计其速度。i b ma l m a d e n 研究中心和马里兰大 学提出的w 4 系统【7 】能够在室外环境下检测和跟踪多个人并监控其行为。该系统能够判断一个 前景区域内是否包含多人，并能够将区域分割为其组成的人并跟踪他们。还能够判断是否人 搬着东西，能够将这些东西分割出来并为其外观建模。w 4 能够识别人和物之间的事件，比如 物体的放置，物体移除。微软研究院与加州大学、麻省理工学院开发的计算机视觉系统瞵j 能 够对人之间的交互做出检测，并对交互做出分类。他们的系统在闭环反馈中结合自顶向下和 自底向上的信息，对两者都采用了统计贝叶斯方法。麻省理工学院开发的p f i n d e r 刿用简单的 二维模型通过最大后验概率的方法来检测和跟踪人体。其起源于a l i v e 系统，但是提供了更 通用更准确的人体分割、跟踪、理解方法。卡内基梅隆大学开发的v s a m 系统【lo j 能够在城市和 战场环境下持续跟踪人、车辆和他们之间的交互。能够判断他们的地理位置，并将其插入动 态场景可视化模块。地理位置可以反馈控制摄像头移动、伸缩，从而到达连续跟踪的效果。 2 翌= 童丝堡 1 2 2 各项技术的发展 1 2 2 1 图像视频编码的发展 图像视频压缩技术主要用于图像视频的存储和通信。数字图像的信息量大，而且采用数字 式通信制时占用的频带宽，所以编码压缩图像视频可以节省存储空间，通信时减少占用的频带 宽度。近年来随着计算机技术和i n t e r n e t 的迅速发展，图像视频压缩技术得到了迅速的发展 和广泛的应用。 对于图像压缩编码，j p e g 标准作为联合图像专家组发布的第一个标准被广泛使用。该标 准提供了各种应用程序可以从中选择元素满足其特定需要的工具箱。主要包括三个组件：j p e g 基准系统，该系统使用简单高效的离散余弦算法，利用h u f f m a n 编码，只能工作在顺序模式。 扩展系统，增强了基准系统的算法能够满足很广的应用。无损模式，基于预测编码的方法既 可以使用h u f f m a n 编码也可使用算术编码。 尽管j p e g 基准系统取得了巨大的成功，但随着近年来新兴的应用如医学图像，数字图书 馆，多媒体，网络和移动电话的应用使其一些缺点变得越来越明显。1 9 9 6 年j p e g 委员会想 要在单一压缩码流中提供对更多应用更宽范围的特性的想法开始研究制定新标准的可能。这 直接导致了j p e g 2 0 0 0 的诞生1 1 1 】。j p e g 2 0 0 0 计划分六部分发布，其中第一部分和j p e g 标准一 样，以最小的复杂性定义一个满足8 0 应用的核心编码系统。第- - n 第六部分在不同发展阶 段对压缩技术和文件格式的扩展。j p e g 2 0 0 0 采用了很多压缩技术的新进展实现了很多很好的 新特性。比如用全帧d w t 取代了低复杂性和高效内存使用的块d c t 算法。这内在的提供了多 分辨率图像表征并提高了压缩效率，同时整数d w t 滤波还可以在单一码流中提供有损或无损 的压缩。嵌入式编码通过使用带中央盲区的统一量化器实现。对于量化指标的编码，j p e g 2 0 0 0 采取了带重正规划化驱动的概率估计的自适应二进制算术编码而不再使用h u f f m a n 编码。由 位平面编码的嵌入式码流能够提供信噪比可扩展性和按目标文件大小压缩的能力，另外， j p e g 2 0 0 0 还有增强的错误恢复，部分空间随机存取，方便特定几何操作，可以在压缩域进行 裁剪，旋转等优点。 一 对于视频压缩编码，有两条发展路线，一条是i t u t 发展的h 2 6 x 编码标准，一条是 i s o i e c 发展的m p e gx 编码标准 h 2 6 1 是第一个真正实用的视频编码标准。最初是为在i s d n 线路上以6 4 k b i t s 的倍数速 率发送视频数据而设计的。实际上所有其他的视频编码标准都基本上基于h 2 6 1 的设计框架。 其编码算法采用了运动补偿帧间预测、空间变换编码及标量量化、z 字扫描和熵编码的混合 方法。该标准支持两种图像大小：c i f 和q c i f ，还能够发送4 倍分辨率的静止图像。 m p e g 一1 的第2 部分是其视频编码部分【l2 。其基于h 2 6 1 ，通过使用更复杂的编码方法来获 得更高的编码质量。与h 2 6 1 最大不同是其引入了运动补偿内插的概念，因此其图像类型增 加到了四种，另外其参考图像不比再是前一帧而可以是上一i 帧或之前某时的p 帧，而且运动 向量不再有限制。m p e g - 1 的主要应用是视频c d 和数字有线卫星电视。 h 2 6 2 ( 或称m p e g 一2 第2 部分) 是v c e g 和m p e g 联合开发的视频编码标准。该标准与m p e g - 1 的第2 部分相似，但提供了对隔行扫描视频的支持。对于低码率的码流h 2 6 2 没有做出优化， 对于3 m b i t s 及以上码率的码流其性能要优于m p e g - 1 d v d 标准使用m p e g - 2 视频。 h 2 6 3 是v c e g 开发的用于视频会议的低比特率压缩格式。该视频压缩标准从前面所述的 标准中吸收了大量经验并做出了很多改进，主要有运动补偿采用半像素精度、使用基于语法 的算术编码、事先预测及四种增强模式。其应用包括h 3 2 4 、h 3 2 3 、3 g p 、f l a s hv i d e o 、i m s 、 m m s 、p s s 中。 m p e g - 4 起初是m p e g 针对无线通信低码率传输开发的视听标准，后来其应用范围被推广 到很多应用中。其第2 部分为视频编码部分。具有较m p e g - 2 较低的码率、可以用自然对象和 合成对象一起渲染场景、支持交互等显著的特点。m p e g - 4 提供了一种标准的用描述性元素来 表征视频或静止媒体对象的方法，媒体对象可以是自然的或合成的，并且可以独立表征环境 或背景。另外该标准也描述了如何将多个媒体对象合成一个场景。 东南大学硕士学位论文 h 2 6 4 ( 也称为m p e g - 4 第十部分) 是v c e g 和m p e g 共同开发的最新的面向块的基于运动补 偿的视频编码标准。h 2 6 4 引入了很多新的工具来提高性能，包括支持8 、1 0 、1 2 位4 ：2 ：2 和4 ：4 ：4 的y c b c r 格式、整数变换、u v l c 、c