（道路与铁道工程专业论文）数字视频技术在智能运输系统中的应用研究.pdf

东南大学博士学位论文 摘要 随着网络技术和视频压缩技术的发展，将视频压缩成数字流并通过网络传输是目前交通监控领域中的 个趋势。但目前市场上的数字化视频传输产品功能单一、延时较大、视频质量达不到要求。针对这一市 场需求，开展了本文的研究，主要内容如下： 1 实现了m p e g 2 网络编解码器。文中首先以m c f 5 3 0 7 c p u 为核心，实现一个u c l i n u x 系统的嵌入 式c p u 平台，并以此为基础，配以不同的接口芯片实现了m p e g - 2 编解码器。论文研究并给出了详细的 电路设计和在u e l i n u x 环境下驱动程序的设计方法。 2 在分析了m p e g 一2 数据流格式的基础上，就网络传输引起的抖动以及数字视频固有的延时作了详 尽的分析，并提出了相应的解决方法，使得系统图像播放流畅，延时极小。 3 针对编解码器的幅频特性不能满足相关标准要求的情况，提出了分别基于频域和空域的两种高频 补偿算法。并给出了基于空域补偿的具体实现使得视频编解码器的所有性能指标都达到了相关标准规定 的要求。 4 网络传输的不确定性可能会造成视频数据流的丢失，错误掩盖是解决这一问题的一种有效方法。 本文针对高速公路监控图像的特点，利用b 帧在前后两基准帧中的相关性，得出缺失部分的运动矢量值， 再根据前一帧图像内容进行掩盖，取得较为满意的实用效果。 5 。从m p e g - 2 压缩数据中直接获取交通流量数据。文中利用肝e g 屯的数据流中的灰度、色度的d c t 系数，宏块的运动矢量，检测车辆的存在和运动速度。与传统的视频车辆检测器相比，有着精度较高，抗 干扰能力强的特点。 基于上述研究成果开发研制的视频编解码器，其技术性能符合相关标准的要求。作为国内第一个通过 交通部交通工程检测中心检测的产品，该编解码器已在多条高速公路中得到应用，并产生了较好的社会和 经济效益 关键词： 先进的交通管理系统网络视频错误掩盖车辆检测图像识别 摘要 a b s t r a c t w i mt h ed e v e l o p m e n to fn e t w o r kt e c h n o l o g ya n dv i d e oc o m p r e s s i o na l g o r i t h m i tb e c o m e san e w 仃e n dt o c o m p r e s sv i d e oi n t od i g i t a lf l o wa n dw a n s m i tt h r o w i g hn e t w o r k s b u tt h em a i n s t r e a mp r o d u c t so fm a r k e t sc a l ln o t s a r i s f yn e e do fa t m sb e c a u s eo fi t sb i gl a t e n c y ，p o o rv i d e oq u a l i t ya n ds i m p l ef u n c t i o n t h ec o n t e n to ft h i s d i s s e r t a t i o nc a nb es u m m a r i z e da sf o l l o w s ： 1 r e a l i z e dam p e g - 2n e t w o r kc o d e cs y s t e m a ne m b e d d e dp l a t f o r mi sc o n s t r u c t e du s i n gm c f 5 3 0 7c p ua s i t sc o r e a s s e m b l et h ep l a t f o r mw i t hv a r i o u si n t e r f a c ec h i p s am p e g - 2n e t w o r kc o d e cs y s t e mi sr e a l i z e d t h e d e t a i l e dd e s i g no f c i r c u i t sa n dp r o g r a m m i n g t e c h n i q u e so f d r i v e r sf o ru c l i n u xo si sp r o v i d e di nt h ed i s s e r t a t i o n 2 b a s e do nt h ea n a l y s i so fd a t af o r m a to fm p e g - 2s t r e a m ，ad i s s e r t a t i o nd i s c u s s e dt h ef l u c t u a t i o n si nn e t w o r k t r a n s m i s s i o na n dt h et e m p o r a ld e l a yi n h e r i t e di nd i g i t a lv i d e ot h o r o u g h l y , a n db r o u g h tf o r w a r dc o l t e s p o n d i n g s o l u t i o n s ，w h i c he n s u r et h ep l a yb a c ks m o o t ha n dl o w - d e l a y e d ，a n dm a k et h i ss y s t e mp r e c e d i n gt h ep e e r s 3 a st h ef r e q u e n c yr e s p o n s ep r o p e a i e so f t h ec o d e cs y s t e mp r o t o t y p ec a n n o ts a t i s f yt h er e q u i r e m e n to fr e l a t e d s t a n d a r d s ，t w oh i g h f r e q u e n c yc o m p e n s a t i o na l g o r i t h m sb a s e ds e p a r a t e l yo ns p a t i a ld o m a i na n df r e q u e n c yd o m a i n a r ep r o p o s e d i np a r t i c u l a r , t h er e a l i z a t i o no f t h ec o m p e n s a t i o na l g o r i t h mb a s e do ns p a t i a ld o m a i ni sp r o v i d e d 1 1 1 e p r o p o s e da l g o r i t h m se n s u r et h a ta l lt h ef u n c t i o n a lp e r f o r m a n c e so f t h ec o d e cs y s t e ma r eu pt og r a d e 4 t h eu n r e l i a b i l i t yo fn e t w o r kt r a n s m i s s i o nc a nc a u s el o s so fd a t a e r r o rc o n c e a l m e n ti saw a yt os o l v et h i s p r o b l e m b a s e do nt h ec h a r a c t e r i s t i c so fi m a g e sf o rh i g h w a ys u r v e i l l a n c ea n dc o n t r o l ，t h ec o r r e l a t i o nb e t w e e nb f r a m ea n dt w on e i g h b o r i n gr e f e r e n c ef r a m e si su s e dt oo b t a i nt h em o t i o n - v e c t o rv a l u e so ft h el o s tp a r t ，t h e nt h e l o s tp a r ti sr e c o v e r e dw i t ht h ec o n t e n to fp r e v i o u sr e f e r e n c ef r a n l e t h i sm e c h a n i s mc a na c h i e v es a t i s f a c t o r y r e s u l t s 5 d i s c u s s e dt h et e c h n o l o g yo fo b t a i n i n gt r a f f i cd a t af r o mc o m p r e s s e dv i d e os t r e a mi n 田e g - 2f o r m a t t h ed c t c o e f f i c i e n t so f g r a y s c a l ea n dc h r o m a ，a n d t h e m o t i o n v e c t o r so f m a c r ob l o c k sa r eu s e d t o i n s p e c t t h ee x i s t e n c eo f v e h i c l e sa n dm e a s u r et h e i rs p e e d c o m p a r e dt ot r a d i t i o n a lv i d e oi n s p e c t o r s ，t h i sn e wm e t h o dh a sh i g hp r e c i s i o n a n ds t r o n ga n t i - i n t e r f e r e n c ec h a r a c t e r i s t i c s a st h ef i r s td o m e s t i cp r o d u c tt h a tp a s s e dt h et e s tb yt h et r a f f i ce n g i n e e r i n gt e s t i n gc e n t e ro f t h em i n i s t r yo f c o m m u n i c a t i o n s ，t h i sc o d e cs y s t e mh a sb e e na p p l i e dt os e v e r a lh i g h w a y sa n dh a sg e n e r a t e dg o o ds o c i a la n d e c o n o m i c a ib e n e f i t s k e y w o r d s ： a t m s ，v i d e oo v e ri p , e r r o rc o n c e a l m e n t ，v e h i c l ed e t e c t i o n ，p a 仕e mr e c o g n i t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名：么刍鲣 日期：型幽口 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名： 东南人学博l ：学位论文 第一章绪言 智能运输系统( i n t e l i g e n tt r a n s p o r ts y s t e m s ，简称i t s ) ，是将先进的信息技术、计算机技术、 数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人t 智能等有效地综合运州于交通 的运输、服务控制和车辆制造，加强j ，车辆、道路、使用者三者之间的联系，从而形成的一种定时、准确、 离效的综合运输系统“1 。 i t s 是由多个子系统组成的，包括先进的交通管理系统( a t m s ) 、电子收费系统( e t c ) 、商用车辆管理 系统( c v a s ) 等组成。a t m s 足i t s 最基本的功能系统。a i m s 通过把一系列先进的监控技术、通信技术、计 算机技术廊州到交通控制与交通管理中，从而实现交通管理体系与车辆的完美结合，确保了道路网始终处 r 最佳运营状态。 与传统的交通管理系统相比，a t m s 具有以下特点： 1 a t m s 可实现对车流的实时动态分配，它的交通控制策略是根据道路上实时交通流状况而确定的。 而我国传统的交通管理系统中无论是信号控制模式，还是匝道车流调节模式都是根据以往历史交通状况来 确定的，因此不能动态地反应出道路上的交通状况，尤其不能反应出严重的突发交通事故造成的拥挤状况， 冈此造成了大黉的交通延误。 2 对丁交通信息的获取。传统的交通控制系统只有司机上路后才能具体了解，而通过实施a t m s ， 旅行者在山行前可通过家中或公共场合的各种多媒体信息终端详细查看有关道路状况，避免了出发前道路 选择的盲目性。在术来的a t m s 中，旅行者获得交通信息数量和方式都远远优于传统的交通控制系统。 由于a t m s 建立在实时交通的基础上，这就要求监控系统不仅能提供传统的一些交通数据( 例如：车 辆速度、数量、道路r 与用状况等) ，还应提供诸如车辆类型、交义路口延误时间、车队蚝度、车辆转向、 车辆反向行驶以及违规车辆的下牌号码等。提供这些数据无论在技术上还是安装密度上对道路检测系统与 监视系统提出了相当高的要求。监测系统的性能直接影响了a t m s 实施的效果，在a t m s 中它们起着极其 重要的作用。 尽管各国a t m s 的实施技术不完全相同，但大多具备班下功能 35 1 ： 1 信息提供：如上所述，a t m s 应能通过各种信息终端向旅行者提供交通信息服务，帮助旅行者确 定山行时间与选择路线。 2 交通控制：对城市道路与城际高速公路网进行自适应控制，提高实时信号控制与匝道车流控制的 效果。根据实时交通运输信息，确定车辆在道路网上的最佳分配，如在污染严重地区与交通高峰期限制某 些布辆进入，另外可通过提高车辆通行赞、可变信号标志以对下辆进行诱导，实现对交通流的动态分配， 这足a t m s 最重要的功能，也是它的特征。 3 交通事故管理：该功能帮助交通管理人员迅速确定事故地点，并与相关部门迅速联系对事故做山 及时反应，同时预测事故对道路产生的影响，从而采取相应的预防措施即通过车载设备、路侧j “播和可变 情报板对车辆提供指导信息，使交通事故造成的影响降至最低限度。 4 应急管理：应急管理可以提高对交通突发事件( 恶劣天气、灾害、道路损坏等) 的报告与响应能 力，改善应急反应资源配置。它包括紧急通告与应急午辆管理两项，紧急报告为管理人员提供突发事件的 信息，如汽车故障，道路塌方，使管理人员迅速确认事件性质与习千什地点；麻急车迅速到达事故现场，本 服务的主要对象为：警察、消防、医疗救护、道路管理、道路维修等部门。 5 自动收费：在收费站实现不停车收费，提高午辆的通行能力。通过收费站还可以收集人量交通数据 并提供给交通控制中心，这乃是交通控制中心与收费站密切联系的一个呕要原冈。 6 排放洲试与污染防治：通过在空气质量敏感地区监洲汽午尾气的排放，对排放水平超标的午辆的 进入加以控制，从而实现基于环保的动态交通分配。 a t m s 系统结构组成如幽1 1 所示： 信 监视与检测系统 一 ： 、 自 蓬 l 举游i 霉汀童泽孽、。 m ， 卜j 。j | | ! 。| 卜|：篓一0 癌l ；_ 。| |ff i 蠡 参- ；- 茹鳖冀j 基。：；0 曩一_ j 囊囊+ l t 雕 舞 l 售 。 i 。 a t m s 蝰伟i 巾心i r 氍 曩i - 交通f - - ：号要时篚：蓬畿控制i 程一j 4 、交通萼故管理系统 一 。 器。至襞薹筹翟豢篙i i ij j | 一誉奢r 鏊惹篓霪鍪i ! i f一 信 息 提 供 系 统 i 霉蓿霉汀系统 可变情操舨 1 。l 视频监控与a t m s 备多媒体终端。一i i。誊萝i i 。 r i i | ! ?卜 丌- s 其它篝系统 案。耋鎏誊l 相蓼渡磷单攥t 交警、j 挺疗、路政) 篓 管理翥借县。 l 豳卜la r j m s 系统结构纽成 。，磐频尊为一种展直观的信息，可以由人丁或计算机视觉的方式判断道路运营状况，可以有效地检测交 苎事譬：竺泛地麻在交通监控中。因此无论是高速公路监控还是城市交通管理，视频监控系统是薪m j 中个最基本的子系统。 视频监控系统根据其传输模式可分为传统模拟视频监控系统和数宁视捌i 监控系统。 l ，1 ，l 传统模拟视频监控 。譬警j ? 撷监控善统结构十分简单，只需明视频电缆将摄像头的视频传至显示终端，如电视埔、录像机 篓a 兰鳟苎系统有着安装简单、维护力便、技术要求低、价格便宜的特点。在小区域监控中，如收费磊益 控- 传统的视频监控系统一直扮演着主要角色。 、由l 尊通的视频同轴电缆瑶多只能传送公里左右的视频，而高速公路需要对整条路战路网进行监 控，距离k 远数白公里，当监控距离较氏时，传统的方式是利川光纤进行点对点传输。采用运种方式虽人 囊。 髓 黼；|； 鬻 旒。鬻 鳓， j _ 翁 1ijljij 东南大学博l 学位论文 的缺点是独t 。i 光纤，有多少对视频光端机，就需要埋设多少根光纤，极人地浪费了光纤带宽，而且组网不 灵活，不能满足现代高速公路进行多级箭理的需要。如嗍卜2 所示： 图卜2 利用视频光端机远稃传输视频示意图 对城市交通监控而言，若将每个重要路口的图像通过光纤传至监控中心，则：l 程浩大，布线复杂。特 别是在市政建设已成形的城市中，大面积埋设光缆更是一什难事。 1 1 2 数字视频与a t m s 将图像进行数字化后利用多媒体视频压缩技术对其进行压缩，并利州现有的通信网络进行传输是解决 视频远距离传输问题的一个热门方向“。数字视频压缩技术的发展是解决这一问题的前提，而通信技术 的发展以及其带来的线路带宽的提高，为将模拟视频转换成数字流井通过通信线路传输提供了带宽上的保 证。 目前高速公路通信系统建设比较完备，如江苏省各条高速公路都建有s d h 传输设备，可提供较高带宽 的通信链路，接口通常有2 m 的e l 链路和以太接入，其它省高速公路建设情况基本相似，有些高速公路的 通信系统直接采用千兆计算机以太网络。 对城市交通管理而言，由于城市的公用通信系统建设日新月异，通信返营商们可以向用户提供d d n 、 i s d n 等带宽较高的线路，随着近几年网络技术的发展，城域嘲的带宽越来越商而费用越来越低，而接入形 式采用的则是常见的以太网络接口，十分方便。 数字视频传输的优点在丁： 1 可以有效地利i i = i j 现有资源，避免浪费。数字视频远传系统可充分利用高速公路戏城市的通信运营 商提供的通信接口，随着通信技术的发展，通信接口的带宽将越来越赢，而价格却越来越低。另一方面， 监控系统只需维护监控设备，而线路的维护则由通信系统完成。 2 不受距离限制，图象质最优异。模拟视频若采用同轴r u 缆传输，则传输距离有限。随着距离的增 k ，前端地和后端地存在电势差，而且同轴电缆相当丁一根天线，容易引入干扰。而数字传输的正确性由 通信系统保证，信号不会随着线缆长度的增加造成衰减，抗干扰能力强。适用于需要远距离高质量的监控 场合。 3 系统扩展方便。计算机以太网络以及t c p i p 协议被证明是扩展能力最姓的网络。而数字监控设备 以网络设备的形式存在，通过i p 地址进行标识，增加备只是意味着i p 地址的扩充。可充分利_ f ；计算机 网络的传输能力、交换能力和扩展能力进行系统的扩展。只需给设备分配相应的1 p 地址 此外，与模拟视频相比，数字视频监控在a t m s 中麻j _ i j 有着较大的优势： 1 ， 可组成1 i 常复杂的监控网络。无论是城市交通管理还是高速公路管理，往往多级多个部门需要观 看视频监控劁像。剐络视频监控町借助计算机嘲络的交换能力，以及组播等技术的廊川实现这一需求。 2 与计算机管理系统的无缝连接。高谜公路监控系统一般都建有综台监控平台，视频作为主要的信 息被集成往这一软什平台中。采_ l i j 网络数字视频传输，除了可以在监控中心端将数据视频流恢复成模拟视 频，还可以在p c 机上州软解压的方式收看图像，可以与管理系统等软仆无缝连接。 3 数字视频流本身已足处理过的信息在这基础上处理数据，检测交通信息效率将更高。 1 第一章绪南 当然，数字视频传输有着安装复杂，维护一f = 作量人的缺点，此外数字视频传输至少在视频的延时方面 要劣于传统视频，这正是我们需克服的缺点。 1 1 3 交通视频监控图像要求 由于交通的监控对象是高速移动的车辆，因此对监控图像的质量有一定的要求。作为一种视频传输通 道，在江苏省地方标准d b 3 2 5 1 4 2 0 0 2 江苏省高等级公路机电1 ：程质量评定标准对图象传输质量禾f 性 能指标提出了明确要求【8 1 1 9 1 ： 表1 1 视频图像传输性能指标 江苏省高等级公路机电丁 检测类别检测项目 程质量评定标准指标值 介入增益( ) 2 随机信噪比( d b ) 5 1 ( 统一加权) 微分增益( ) 5 视频通道 微分相位( 度) 5 的主要技 k 因子( ) 3 术指标 色亮信号延时差( n s ) 3 5 色亮信号增益著( )9 3 幅频特性( 6 m h z ) ( d b ) 2 对于视频的数字乐缩传输而言，由于编码、解码和传输都需花费一定的时间，数字视频编解码设备都 有一定的延迟。一般而言，当延时为3 0 0 毫秒以内，操作人员对视频延时不敏感；当延时为5 0 0 毫秒以内， 操作人员对视频延时有一定感觉，但在习惯后，可正常操作监控前端设备：当延时大于8 0 0 毫秒，操作人 员将很难正确操作监控前端设备。因此除图像传输质量之外，作为实时图像监控传输设备，交通监控对数 字视频传输的端到端延时的要求也很高。 1 2 数字视频编解码设备的研究与应用现状 随着网络通信技术和数字视频技术的发展，无论是以娱乐为主的多媒体鹰用，还是监控系统的需求， 义或者是视频通信，将视频数字化压缩后通过网络传输有着极大的市场。目前这方面的研究可谓“如火如 荼”，而产品的更新周期也越来越快。各产品针对不同的市场需求，采用相廊的技术对市场进行细分。随 着计算机网络的普及，数字方式监控火有取代传统监控的趋势。 l ，2 1 基于对象的视频编码技术 住h 2 6 3 、m p e g 一1 、m p e g 一2 等压缩标准中，矩形块是一个基本的单位“，但这样的分割方法会降低 基本单元幽像内的关联性。在m p e g 一4 中，将视听的内容的表示单位称作“媒体对象”。这些媒体对象既可 以是自然的，也可以是人f ：合成的。视频对象( v o ) 是可视场景中景物的抽象描叙，它表示任何有意义的物 理实体，如人、物体或背景。视频对象是m p e g 一4 中编码的最小独单位。将具有实际物理意义的任意形 状的对象作为视频编码的基本单位压缩效率将更高，矶且更具交互性。 从幽缘中对物体进行正确| r | 勺分割是- - e l 凼难的事情，目前捉的方法有很多，包括亢方幽分割、非线 东南人学博l 学位论文 性扩散分割、基丁运动的非线性扩散分割、基于形态学的对蒙分割以及基丁边界匹配的对象分割，但效果 并不十分理想，还不能适川7 ：- 所有的自然景物图像。 基于对象的编码技术另一要点是任意形状的视频对象的编码。在m p e g - 4 中采用对边界块进行贴补的 方法实现了基于块编码的形状自适应变换。 需要指出的是，虽然m p e g - 4 支持面向任意形状的“对象”的压缩，但目前的m p e g 4 实时压缩芯片 在编码时，仍是将矩形块作为编码对象【1 3 1 。 1 2 2 小波技术的应用 m p e g 一1 、m p e g 一2 采用块d c t 变化来消除帧内图像冗余，当压缩率过低时，会产生“块效应”。小波分 析在图像压缩中的应削解决了这一矛盾。 小波分析是传统傅里叫分析发展史上的里程砷，d g m a l l a t 首选将小波变换用于多分辨率图像的描述， 这个多分辨率的图像描述叫做图像的小波分解。在空间域里，小波将信号分解为不同层次，每一层次的分 辨率不同。小波变换在空间域中进行多层次分解运算的同时形成了频率域中的多层次。由于小波变换的本 质是多分辨率的分析信号，1 f 常适合视觉系统对频率感知的对数特性，因此从本质上说，小波变换非常适 合丁f 幽像信号处理。 m s h a p i r o 提出的嵌入式零树小波编码方法e z w 【i ，它利用小波系数在不同尺度的空间相关性以及系 数的衰减特性，用零树编码进行压缩，并且用比特面的方式进行量化，实现了嵌入式编码。e z w 具有的 高压缩性能、在极低码率没有d c t 编码的方块效虑、天然的多分辨率编码，以及嵌入式编码具有的s n r 精细分级等诸多优良性能。s a i d 等人提山了一种改进算法- - s p l h t y s l ，得到了更加优异的压缩性能，而且 算法的实现简单 由于d w t 在图像压缩取得了极大的成功，j p e g 2 0 0 0 使用d w t 作为编码核心，而m p e g 4 也用d w t 作为静l r 图像编码的_ 上具。以j p e g 2 0 0 0 和j p e g 为例，在同样的压缩比率下，采用小波变换的j p e g 2 0 0 0 图像重建质量远高于j p e g 图像。 1 2 3 视频错误掩盖 数字视频为了减少冗余度，通常采用了帧间编码和可变长编码( v l c ) 的方法，码流数据的任何一位 的丢失或错误都可能导致重建图像的失真，前面基准帧错误的图像还会扩教影响后续的数帧图像，形成扩 散效应。 解决误码有两种方法，一是错误恢复机制。虽然可以用一些如自动再传输请求、数据兀余发送等方法 米实现这个机制，但也带来延时增大，网络开销增加的缺点。因此错误恢复机制在实时监控领域中应用较 少。 另一种可以选择的技术是错误掩盖( e r r o rc o n c e a l m e n t ) 技术，图像的错误掩盖就是在视频码流中 有错误的情况时，能够检测到错误，跳过因错误而不可解码的部分码流继续解码，井尽可能地恢复不可解 码部分的图像质量。其技术本身并不能更正误码并恢复原始数据，而只是利用视频幽像的时间年空间上的 相关性，寻找另外一些相关数据来代替误码数据，设法使这些误码不在视觉上被察觉山来，达到错误掩盖 的目的。 目前有很多的解码端的错误掩盖算法，例如，空域和频域i ! | 插算法、运动补偿帧间预测算法、多方向 滤波与内插算法等。这些算法都基于一个前提：错误块是孤立的，可以利川相邻块的相关性恢复信息。 但对于网络视频而言，当传输错误将丢弃整个网络数据包，往往整个子图的信息都会丢失，在文献 1 6 中对整行数据被丢失的情况进行了讨论，其采【 = | 的仍是基 i 空域的算法，利心s o b e 算子检测丢火行相邻 乱的块的边缘方向，并进彳丁山插补偿。由丁其没有利川视频图像的时间相关性，结果并不十分理想。 1 2 4 多媒体数据库 第一章绪言 视频检索就是要从大量的视频数据中找到所需的视频片断传统的视频检索只能通过快进和快退等顺 序的方法人i 查找，因而是- - f l t i ：- 常繁琐耗时的工作，这显然已无法满足多媒体数据库的要求用户往往希 望只要给山特征描述，系统就能自动地找到所需的视频片断点，即实现基于内容的视频检索。 视频流的分析既可以在图像域进行，也可以在压缩域进行。在图像域进行分析的优点是物理意义清楚， 但处理的运算量大。以图像的特征作为索引，对静态图像进行检索是目前使用最多的方法目前比较成熟的 特征索引是颜色、纹理和一些低层的、简单的形状特征和物体间方位关系。 而另一方面，数字视频流中包含有大量已处理过的信息例如m p e g2 在对视频进行压缩时，首先将 视频分割成多个块，并在基准帧中对图像进行d c t 编码，升根据前后图像帧的差异进行块的匹配。我们可 以从m p e g 一2 的数据流中分离出图像的纹理信息以及前后帧图像的匹配信息。 利用压缩数据进行分析已被广泛地应用于视频的内容检索，镜头的检测，以及目标物的提取等领域 f 川i l q l ，2 ，5d i r e c t s h o w 与软解压 早期的多媒体软件需要开发人员编写所有的算法，包括视频解码、视音频同步、显卡的底层操作等， 上作量惊人。而且不利于软件的升级。 随着网络的普及，以流式媒体为主流的网络多媒体应用成为一个热门。微软公司的w i n d o w sm e d i a 技 术和r e m 公司的r e a l n e t w o r k s 技术是其中的代表。但这些技术都是针对娱乐为主的应用，对监控系统所 需的实时性考虑较少。 随着多媒体技术的不断发展，对软件功能和性能的要求也越来越高。为了向开发人员提供功能更完备 的处理软竹，在以前推出a c t i v e m o v i e 和v i d e o f o r w i n d o w s 的基础上，m i c r o s o f t 公司推山了新一代多媒体 开发软件包- - d i r e c t s h o w 。 d i r e c t s h o w 是一套编程接口，它提供了从本地文件或网络播放多媒体流及从外部视频捕获设备捕获 多媒体流的能力，具有良好的兼容性，支持多种文件格式。多媒体处理涉及的主要问题有： 1 如何实时传输和处理大数据量的多媒体数据； 2 视频、音频币i 其它媒体信息之间的同步； 3 多样性媒体数据源数据( 来自本地文件、计算机网络、电视广插或者是摄像机) ； 4 多媒体应用程序如何屏蔽多媒体处理硬件的差别，真正做到与硬件无关，最大限度地发挥硬件处 理能力。 在d i r e c t s h o w 中，f i i t e r 是d i r e c t s h o w 的核心。事实上，f i l t e r 是一种特殊的c o m ( c o m p o n e n to b j e c t m o d e l ，组件对象模型) 组什。二进制代码的可重用性是其一个基本特征。事实上，d i r e c t s h o w 其实由多个 被称之为f i l t e r 的c o m 组件协调工作、对数据进行处理和传送来实现多媒体数据的播放。 随着软件设计越来越复杂，组件化程序设计思想迅速地发展起来。织什化程序设计思想，即复杂的应 川程序被设计成一些小的、功能单一的组件模块，这些独立开发的二进制组件模块可以动态、有效地组成 一个复合系统。 1 2 ，6 网络传输质量 随着计算机网络技术发展e 速，千兆网络以太核心交换机已被广泛地采川，随着网络视频干l p 语音的 成功雨i 推广，利川计算机以太网络实现语音、数据、视频通信的二网合是高速公路通信系统的发展方向 之一。事实上，如杭州绕城等些高速公路已经采州了千兆以太网络作为通信系统。这样的系统扩展更容 易，网络拓扑更加灵活，功能更强大，带宽分配更加台理。 目前千兆的数据传输本身已不再是瓶颈，利i 【 ；j 高速公路预删的光纤将各。1 y 点川高宽带嘲络联成一体己 不存在技术上的障碍。但由丁- 以太网络传输数据存在一定的传输延时、延时抖动、误码率。对于传输象视 频这种人数据量，实时性要求极高的数据存在一定的问题。陶此，q o s ( j e 务质量) 是千兆网络研究的一个 t 要问题。 6 东南人学博l 学位论文 q o s 是指为了达到应川的定性能，网络所要提供的服务质量。由于视频流的传输是火量的、连续时 间的数据传输，为了有效地在这种网络上进行火餐视频流的同时传输，流量控制、资源分配承i 管理问题是 必须解决的关键技术。q o s 参数包括传输延时、延时抖动、误码率( 丢包率) 以及带宽等。 除了在网络管理方面的改进咀外，在编解码自身也要作相应的处理。例如缓存数据消除抖动，尽量减 小延时毗及当数据发生错误后不能对系统造成太大的影响等。 1 2 7 数字视频在交通中的应用 由于数字视频与模拟视频相比有着很多较大的优势，数字视频设备已在许多交通领域，例如高速公路 监控，公路收费系统，城市交通管理系统中得到应用。就其功能而言，主要可分为以下3 种设备： 视频传输设备 随着数字视频技术的发展，许多高速公路以及城市交通控制采用通信系统传输数字视频的方式以降低 视频传输的成本。由于交通监控的主要对象是高速移动的车辆，而且系统往往需要将视频送至视频车辆检 测、车牌识别等设备作进一步的处理，冈此a t m s 对视频传输质量提出了较高的要求。此外，作为实时监 控设备，其对视频传输的端到端延时要求也很高。 目前常见的数字视频压缩格式有：h 2 6 3 、m p e g - l 、m p e g 一2 、m p e g 一4s i m p l e p r o f i l e 级以及m p e g 4 a d v a n c e ds i m p l ep r o f i l e 。其中m p e g 一2 和m p e g 4a d v a n c e ds i m p l ep r o f i l e 的压缩分辨率都为d 1 分辨率， 即7 0 4 x 5 7 6 ，但在实时压缩时，m p e g 4a d v a n c e ds i m p l ep r o f i l e 级的图像质量明显不及m p e g 2 的图像 质_ 晕：。经视频综合测试仪对多个m p e g - 4a d v a n c e ds i m p l ep r o f i l e 的实时编解码芯片方案实测，其幅频特 性、色亮度延时等指标都不能满足相关标准的要求。 数字录像设备 与传统的录像相比，数字录像有着检索方便、功能丰富的优点，数字录像设备正逐渐取代传统的录像 设备。数字录像的存储设备通常有两种：本机带的硬盘或者磁舷阵列等外部存储设备。 在本机硬盘存储时，为在一定容量的硬盘上保存尽可能多的录像，数字录像设备通常采用m p e g 一4 s i m p l ep r o f i l e 级或m p e g - 4a d v a n c e ds i m p l ep r o f i l e 级的压缩方式。 对于一些对图像要求要求较高的场合，则通常采用m p e g 一2 的方式，并将数据保存在n a s 、磁盘阵列等 外部存储设备上。 视频车辆检测和识别 在交通监控中，除了人工监控图像，并对交通状态作出判断以外 术从视频中自动收集交通信息“”1 ，包括： 交通流量检测。可以根据图像前后两帧的差别或帧内剀像的纹理 动态调整交通控制策略提供依据。 还可以采州人_ l = 智能和图像识别技 判断车辆的存在及车辆的速度，为 交通安全检测。可以检测出能见度等信息，为确保行车安全提供信息。此外，还可以根据判断车辆的 速度，通过人1 智能，推断是否有交通事件发生。 交通管理。通过识别下牌号米识别车辆，进行违章处理或收费管理。 1 3 本论文主要研究内容 目前市场l 数字视频监控产品种类繁多，但作为实时交通视频监控设备，其在以f ) l 个方面往往达不 到相廊的要求： 1 视频幽像质姑方面不能达到相关标准的要求，由于数字幽像压缩过群中会丢弃部分冗余信息平| 1 人 7 第一章绪言 眼不甚敏感的高频信息，因此其视频传输质量，特别是幅频特性指标往往不到相关标准规定的要求。 2 由于数字视频的鹾缩、传输都需要一定的时间，冈此数字视频传输都有一定大小的延时，一般而 言当延时为3 0 0 毫秒以内，操作人员对视频延时不敏感；当延时为5 0 0 毫秒左右时，操作人员操作有较人 的不适应性；当延时人于8 0 0 毫秒，操作人员将很难正确操作监控前端设备。目前人多产品的延时在5 0 0 毫秒左右，对实时监控系统而言不是很理想。 3 目前视频编解码器只是提供传输视频的功能，不能直接获取交通信息，而另一方面，数字视频在 压缩和解压缩过程中，对视频进行了大量的计算处理，数据流包含了图像的纹理信息、前后帧的匹配信息， 若从中能提取交通信息，则可以大大增加交通信息获得的经济性和有效性。 本课题在对数字视频乐缩技术进行充分研究的基础上，针对交通对网络视频监控的需求，研制嵌入式 m p e g 一2 网络视频编解码器。并对该视频编解码器视频传输性能、视频传输的延时、交通信息的提取及其在 交通监控中的应月j 作了深入的研究，使之能满足市场对该产品的要求。本课题也是教育部智能运输工程中 心的重点建设项目之一。 本论文的第二章主要研究m p e g 一2 数据的实时传输方法。在分析了m p e 6 - 2 的编码格式的基础上，就 m p e g 一2 的实时传输，如何避免网路抖动的影响及减小数字视频所固有的视频传输延时进行详细晌分析，并 提出了解决方案使得编解码器视频播放流畅，延时小。 第三章主要利用m p e g 一2 数据中的帧内块的i ) c t 编码系数和运动矢量信息等提取高速公路交通信息。 从m p e g 一2 数据流中获取交通信息可大大减少获取交通实时信息的成本，而数字视频在高速公路监控中的 普及特别是在重点路段全程监控中的应用可大大提高了交通信息获取的密度和有效性，有着较高的研究意 义和实用价值。 第四章给出了嵌入式m p e g - 2 视频编解码器韵硬件实现方法，本视频编解码器c p u 板以m c f 5 3 0 7 c p u 为 核心，采用u c l i n u x 操作系统。编解码采用专用的编解码芯片。整个系统有着结构简捷，性能优异，系统 可靠，启动时间快的优点。本章给出了电路实现的原理图和u c l i n u x 下设备驱动程序和主程序的编写方法。 并就如何提升编解码器的幅频特性作了详细的讨论，提出了基于频域和空域的两种方法，并作了比较，最 终确定采用基于空域的方法。并给n j 了具体的电路实现方法。 第五章给出了m p e g 一2 软解压模块的实现方法。主要介绍在d i r e c t s h o w 环境下网络软解压f i i t e r 的 实现方法。井就以太网络环境下可能产生的数据丢包造成的解压错误进行了研究，针对高速公路监控图像 的特点给出了一种错误掩盖算法。 第六章先介绍了m p e g 一2 视频编解码器在交通领域的应用实例，并针对江苏省高速公路路网已基本成 形这一特点，在充分利用现有设备的前提下，提出了视颠联网脓控的系统模型。最后根据目前的视频压缩 领域和通信领域中最新的技术发展，就视频编解码器的研究方向作了展望。 本课题主要研究成果视频编解码器是国内第一个通过交通部检测中心检测合格的产品，并已在多个交 通领域中得到应用，提高了交通管理效率井创造了较好的经济和社会效益。 米南人学博- 学位论文 第二章m p e g 2 视频网络编解码器研究 随着网络技术的发展，基于各种流媒体技术在网络视频上得到了广泛的应用。作为监控设备，其需达 到如下要求： 1 图像清晰，分辨率高。传输质量要求达到相关标准”“规定的要求。 2 端到端延时小。当延时大于0 5 秒时，监控人员操作监控设备时有明显的滞后感。 3 抗误码性好，网络传输有一定的丢包率，而实时监控往往不允许对丢火的数据包进行确认重发等 操作，因此要求解码器的算法鲁棒性要好。 m p e g 一2 视频数字网络系统由编码器、解码器、软解压三个部分组成：模拟视频信号通过编码器实时转 换成m p e g 一2 数字视频流，并以多播形式通过计算机网络传送，解码器接受数据将其还原成模拟视频信号 直接上屏幕墙，同时也可咀用软解压的形式在网络上的任意一台计算机上播放。其信号流程如图2 - 1 所示： 视频编码器视频解码器 多媒体监控 rr m p e g 2 编码 m p e g - 2 解码软件解码 视l 频流视t 频流视t 频流 i 酣p 脑r t c 程p 序r t s p r t p r t c p ，r t s pr t p ，r t c p ，r t s p 客户程序 客户程序 上tt 组播、u d p 服务程序组播、u d p 客户程序组播、u d p 客户程序 扩 仃矿 以太网 图2 - 1m p e g 2 编解码器流程框图 本章在分析m p e g 一2 数据格式的基础上，就m p e g 一2 流的网络传输，消除网络传输抖动造成的影响和减 小数字视频传输所俐有的视频传输延时作了详细的分析。 2 1m p e g 2 压缩标准 m p e g 一2 标准延刚了m p e g l 标准的基丁d c t 的、运动补偿的、帧间双向预测的基本结构q ，在m p e g l 基础上作了许多重要扩展币l 改进，在视频方面，这些扩展和改进主要包括以f 儿个方面： 1 考虑到标准的通川性，扩大了重要的参数值，允许有更大的画面格式、比特率并运动矢量氏度。另 外，还可在压缩数据流中插入j | jt - 解码和显示的预设最佳参数，其中有色度矩阵、d c t 系数、p a l 和n t s c 彩色副载波信息等。 2 针对视频信号