（管理科学与工程专业论文）基于多媒体数据库技术的智能视频监控管理系统的研究.pdf

摘要 随着网络技术的日益发展，视频监控系统逐渐成为各类监管部门最强有力的 辅助工具，它提供的全天候无人值守监控、迅速报警、自动播放等功能显著的提 高了监管工作的工作效率，这是其他软件无法比拟的。如今，市面上的监控系统 种类繁多，功能各有特点，性能也可以得到较好的保证，但是，由于硬件设备和 技术条件的制约，大部分产品在设计开发上依然存在着不少的缺陷，尤其针对监 控视频数据管理、远程传输视频、图像质量还原以及图像自动识别等功能的开发 应用远远没有达到监控智能化的目标。 本文以重庆市储备粮视频监控系统研发项目为课题背景，分别从理论角度和 实践层次论述了系统实现的相关技术及设计开发的整体过程。文章分为两大部分， 第一部分从理论和算法层面，围绕h 2 6 4 监控视频的高效传输、差错分析校验、 数据库管理等方面进行了分析与论述，并提出了视频白适应传输、图像动态分块 纠错、多媒体数据库辅助管理等解决方法。第二部分按照软件工程规定的开发流 程，分别从整体框架、业务逻辑等方面论述了系统总体设计方案和软件结构等内 容；从模块设计、实现方法等方面详细论述了通信传输中间件、视频数据管理模 块、实物数量智能识别模块、识别数据管理模块等核心子系统的开发过程，最后 分析了此系统体现智能化监控的独特亮点。 关键词：多媒体数据库、视频实时传输、图像差错分析、智能识别、监控系统 a bs t r a c t w i t ht h eg r e a td e v e l o p m e n to fn e t w o r kt e c h n o l o g y , v i d e om o n i t o r i n g s y s t e mi s g r a d u a l l yb e c o m i n gap o w e r f u la s s i s t a n tt o o lh e l p i n gm o n i t o r i n gd e p a r t m e n t se n h a n c i n g w o i k i n ge f f i c i e n c y t h i sk i n do fs y s t e mc a np r o v i d es o m ec r i t i c a lm n c t i o n st 1 1 a to t h e r s o f t w a r ec a n ta f f o r d ，s u c ha sa l l t i m eu n a t t e n d e ds u p e r v i s i o na n di 1 1 】m e d i a t ea l a r ma n d a u t o m a t i c a l l yp l a y i n ga n ds oo n n o w a d a y s ，t h e r ea l em a n yk i n d so fp r o d u c t i o no f m o n i t o r i n gs y s t e m s ，w h i c hh a v ep a r t i c u l a rr e s p e c t i v ef e a t u r e sa n dc a na s s u r e g o o d p e r f o r m a n c e s h o w e v e r , b e c a u s eo fc o n s t r a i n t sa th a r d w a r ea n dt e c h n o l o g i e s ：t h e r e e x i t sag r e a tm a n yd e f e c t so nt h ed e s i g no f m o n i t o r i n gs y s t e m s ，e s p e c i a l l yi nf o l l o w e d a s p e c t s ，s u c ha sm a n a g e m e n to fm e d i ad a t aa n dv i d e ot r a n s m i s s i o na n di m a g e r e s t o r a t i o n ，c o n s i d e r i n gp r a c t i c a le f f o r t s ，t h e yh a v e n ta c h i e v et h eg o a lo fi n t e l l i g e n t s u p e r v i s i o ny e t t h i sp a p e rb a s e d0 1 1t h ep r o j e c to fd e v e l o p m e n to fm o n i t o r i n gs o f t w a r ef o rg r a i n d e p o ti nc h o n g q i n g ，a n di l l u s t r a t e dt h er e a l i z a t i o no fr e l a t e dt e c h n o l o g ya n dt o t a l p r o c e s so fd e v e l o p m e n tr e s p e c t i v e l y i td i v i d e di n t ot w op a r t s ，t h ef i r s tp a r t ，f r o mt h e o r y a n da l g o r i s ma s p e c t ，i n t r o d u c e dm a n yt e c h n o l o g i e sa b o u tt h et r a n s m i s s i o no fh 2 6 4 v i d e oa n dc o d e c h e c k i n ga n dm u l t i m e d i ad a t a b a s ea n ds oo n i nt h i s s e c t i o n i ta l s o p r o p o s e da ni n t e g r a t e ds o l u t i o nt h a tc o n t a i n e da d a p t i v et r a n s m i s s i o na n da y n a m i c a l l v c h e c k i n gc o d ea n dm u l t i m e d i ad a t a b a s e i nt h es e c o n dp a r t ，a c c o r dt ot h ep r o c e s so f s o f t w a r ee n g i n e e r i n g ，i td i s c u s s e dc o n t e n t so fd e v e l o p m e n ta n dr e a l i z a t i o no fs y s t e m f r o mt o t a ld e s i g na n dl o g i cp r o c e d u r e a n di td e t a i l e di n t r o d u c e dd e v e l o p i n gp r o c e s so f m a i nf u n c t i o nm o d u l e s ，s u c ha sc o m m u n i c a t i n gm i d d l ew a r e ，v i d e om a n a g i n gm o d u i e a n di m a g er e c o g n i t i o nf u n c t i o na n ds oo n f i n a l l y , i ta n a l y z e dt h es p e c i a lp o i n to ft h i s s y s t e m k e yw o r d s ：m u l t i m e d i ad a t a b a s e ，r e a l t i m et r a n s m i s s i o n ，i m a g ee r r o ra n a l y s i s ， i n t e l l i g e n tr e c o g n i t i o n ，m o n i t o r i n gs y s t e m 重庆交通大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所 取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发 表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：日期： o s 年to 月i7 日 重庆交通大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向 国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权重 庆交通大学可以将本学位论文的全部内容编入有关数据库进行检索，可以采用影印、缩 印或扫描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研究所将本人 学位论文收录到中国学位论文全文数据库，并进行信息服务( 包括但不限于汇编、复 制、发行、信息网络传播等) ，同时本人保留在其他媒体发表论文的权利。 学位论文作者签名指导教师签名： 日期： 口彦，年t 口月n 日 日期：d 彦年io 月7e l 本人同意将本学位论文提交至中国学术期刊( 光盘版) 电子杂志社c n k 系列数据 库中全文发布，并按中国优秀博硕士学位论文全文数据库出版章程规定享受相关权 益。 、 学位论文作者签指导教师签名： 日期：03 年矿月i 、7 日日期： 矽孑年，月夕e l 第一章引言 第一章引言 1 1 课题研究背景 随着社会经济的日益发展，人们对安全的需求与日俱增，上至政府部门、企 事业单位，下至普通百姓，都渴求利用完善的安放手段最大限度地保护好自身的 经济利益。传统的安防措施一般采用大量的安管人员多时多点地进行监视、控制， 这样不仅浪费巨大的人力、财力、物力，而且收效甚微。近年来，随着安防技术 的不断发展，监控方式日趋多样化，一改早期的“人海战术”，尤其伴随着信息 技术的迅速崛起以及硬件设备的不断升级，基于数字技术、图像数据压缩及网络 技术研发的视频监控系统逐渐成为安防监控的新方式。 随着社会安保需求日益增大，视频监控系统被广泛应用到各种领域，例如公 共治安管理、银行安全保障、高速路事故监控等，特别是一些危险作业或是需要 监控人类能力难以到达的区域，视频监控系统的作用更是无可替代。总体来说， 视频监控系统是一套汇集了网络通讯交互技术、流媒体以及数据库管理技术于一 体的整合信息管理系统。一般来说，视频监控系统主要分为监控前端系统和监控 中心系统，监控前端系统由摄像设备、视频管理服务器、通讯传输服务器以及专 用网络组成，它主要负责2 4 小时全天候监视记录监控场所发生的实际情况，并将 采集的监控视频压缩为适合公网传输的视频格式，及时的、准确的、清晰地传送 到监控中心系统；监控中心系统主要由影像播放设备、视频控制服务器以及视频 数据库服务器等设备组成，管理人员可以通过播放设备实时观察监控场所发生的 全部情况，及时、迅速地做出判断，指挥相关人员进入现场处理突发事件。 如今，各种视频监控系统的解决方案充之于市，功能效果各不相同，这就要 求设计者利用更为先进的技术手段研制出更为稳定、高效、经济的监控系统，这 确实是一个严峻的挑战。另外，虽然网络带宽日益提升，视频的硬件设备功能日 趋完善，但是监控工作对视频质量、传输速度、管理方式的要求也是不断提高， 监控视频早已不是监控现场的单幅图像，已经上升到高清晰度、高解析度、大容 量的视频码流，如何解决此类问题依然十分棘手。 本文以重庆市财政局储备粮智能视频监控系统的研发项目为依托，以省市级 储备粮监管工作为课题背景，首先简述了视频传输、图像差错分析技术的实现原 理，在此基础上提出了一整套结合h 2 6 4 视频编码技术、公网传输策略、图像差 错复原的高可靠传输方案；之后介绍了多媒体数据技术的理论基础，并设计出一 套适合储备粮监控工作的视频数据管理数据库；最后论述了储备粮监控系统的总 体设计方案和核心模块的开发过程。 2 第一章引言 1 2 视频监控系统的发展过程 随着网络、信息技术的不断革新，硬件制造工艺的不断突破，基于安防监控 技术研发的视频监控系统也在不断的升级。从技术角度划分，监控系统的发展过 程可分为五个不同阶段。 一第一代是以模拟设备为主的闭路系统，即模拟视频监控系统。系统完全基于 模拟信号的传输、处理和存储。通过远端摄像头采集的视频信号由模拟线路传输 给控制中心，管理人员通过一组模拟监视器对各个场景进行监控。使用监控系统 给控制管理部门带来史无前例的收效，管理人员数量得到精简而且监控效率得到 了很大的提高，但是此类系统由于模拟视频监控系统采用同轴电缆的方式传输信 号，传输距离受到限制，且模拟视频监控占用的带宽大，灵活分配带宽的能力弱； 另外，监控员长时间盯着监视器易产生视觉疲劳，可能产生误判和漏判；再者存 储在录像带上的信息不能长时间地保存，对大量的视频资料也不能进行方便地检 索和查询；而且不能与报警系统联动，不能对前端进行控制，且价格昂贵、操作管 理复杂、很难实现较大系统的要求。 第二代准数字监控系统，是从9 0 年代中期开始出现，数字视频压缩编码技术 的日趋成熟、微机的普及，为基于p c 的多媒体监控发展创造了条件。相对于模拟 传送，数字化传送的优点是：数字信号比模拟信号对传输噪声的灵敏度低，信号 的再生比较容易，可以实现错误的检测和纠正，信息也比较容易加密等；同时， 基于p c 的多媒体监控系统具有传输距离远、图像质量好、数据的保存成本低等特； 而且监控人员无需在现场就可以对监控现场进行实时监控，大大提高了监控工作 的效率和灵活性。因此基于p c 的视频系统自出现后，得到了广泛的应用，占据了 监控系统的主要市场并正在逐步取代模拟监控系统网。 第三代全数字监控系统，随着芯片、网络技术的进步，出现了一种新型的网 络化视频监控系统，即基于嵌入式技术的网络系统视频监控。基于嵌入式技术的 网络系统视频监控主要的原理是：采用嵌入式实时多任务操作系统，高效压缩芯 片和功能强大的c p u ，将视频压缩与传输处理工作全部内置到芯片上。摄像机传 送来的视频信号数字化后由高效压缩芯片压缩，通过内部处理后转到网络或服务 器上。网络上用户可以通过专用软件或者直接用浏览器观看w e b 服务器上的摄像 机图像，授权用户可以控制摄像机云台镜头的动作或对系统配置进行操作。基于 嵌入式技术的网络视频监控的优势是数字视频信息抗干扰能力比较强，不易受传 输线路信号衰减的影响，而且能够进行加密传输；数字化后的视频数据占用存储 空间少，可保存更长时间，数据更加稳定；利用自动视频分析技术，可及时发现 异常情况并进行联动报警，从而实现无人值守；利用计算机对视频数据建立索引 后可方便地进行视频检索。 第一章引言 3 第四代远程网络视频监控系统，以网络视频服务器为代表，解决了视频流在 网络上的传输，从图像采集开始进行数字化处理、传输，这样使得传输线路的选 择更加多样性，只要有网络的地方，就提供了图像传输的可能，但脱离了安防产 业的特点：录像存储的重要性，当网络发生障碍以及大容量应用时图像的存储就 会发生丢失，这样监控前端录像存储的重要性就突显出来。其网络传输的控制管 理较为简单，不能适应大规模、多任务的复杂应用需求。 第五代网络多媒体监控系统是由网络多媒体监控管理平台和前端信息采集设 备组成。其特点及优势主要体现在多媒体应用中的数字化、网络化、智能化、系 统化及超大规模组网能力。与前四代视频监控系统的根本区别在于，其不再局限 于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于i p 网络的多媒 体信息( 视频、音频、数据) 提供一个综合完备的管理控制平台。第五代网络多 媒体监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以 智能实用的图像分析为特色，并与报警系统、门禁系统整合到一个使用平台上， 引发了视频监控行业的一次技术革命，迅速受到了安防行业和用户的关注。 1 3 国内外研究应用现状 近来，针对视频监控系统的研究主要集中在两方面上：视频远程传输和视频 存储管理。在多变的网络环境下，如何高效利用有限带宽，是视频传输领域研究 的热点。随着视频技术和网络技术的发展，业界提出了多项新颖的解决方案。如 d i a n a t 和m a r v a s t i 提出了估测信道传输能力、可变调整编码码率的方法【1 1 ；x i a o k a n g y a n g 提出了根据丢包率的变动情况自适应选择码率调整方式的方法【2 j ；文献【3 】提 出了分析r t c p 网络反馈数据估测传输速率的方法。总体来说，这些方案在试验 中都取得了较好的效果，大多可以保证视频码流的正常传输。但是，在实际应用 中，由于算法的复杂度过高，运用环境局限性太强，而现实环境的突发情况较多， 有些方法无法取得试验时的良好收效。 如何解决视频数据的存储管理是监控系统研究的另一热点。由于监控视频属 于多媒体数据，与文本数据等普通数据的结构、特征完全不同，而且视频数据包 含了庞大信息量，需要采用特殊的方法进行存储保存，另外，如何快捷的查询检 索视频数据也是一大难题。c h o l v i 与s e g a r r a 提出了利用分布式视频数据库来解决 视频存储问题1 4 l ；施智平等人提出了根据图像聚类检索方案【5 】；屠添翼等人提出了 图像特征数据库的设计方法【6 j 。这些方法都是利用图像分析技术以及多媒体数据库 技术，方法先进，但是由于技术难度较大，实现起来很难。总体来说，对于监控 视频码流管理，商业化视频监控系统基本采用文件系统管理视频码流，没有采用 多媒体数据库方式进行管理，不能满足涉及重大经济利益的“证据”级数据管理。 4 第一章引言 其一，文件管理系统安全性差，黑客可以轻易地侵入系统目录，篡改删除视频数 据；其二，缺乏必要的数据管理与应用功能，管理、检索、查询数据不方便，少 量专用监控系统即使采用数据库管理视频码流，但由于没有建立明确、全面、强 扩展的监控视频特征数据管理库，导致视频检索效率低，难以迅速对用户需求做 出反应。 此外，现有监控系统的监控报警功能，只是发出报警警示、提醒管理人员调 取视频观看，而不解释报警内容信息，难以对监控结果进行自动分析，依然需要 监管人员高强度的视频监控，基本上没有解决监管人员工作量过大的问题。 1 4 本文的研究内容 本文所做的工作如下： 提出了自适应的高可靠传输策略，通过分析网络状态反馈数据包，计算当 前的丢包率以及带宽占用情况，以此估算出发送码率数值，在丢包率较低的情况 下，动态调整发送码率，实时传输视频码流；当丢包率较大的情况下，采用封装 自定义r t p 视频数据包的方式，减小数据包体积，防止拥塞信道；在网络条件很 差的情况下，考虑适当的丢弃非关键视频帧的传输方式，利用接收端的差错校验 还原视频质量。 提出了一种基于前向纠错方式的动态分割图像、分区域纠错的复合差错检 验方法。此方法摒弃了传统的接收端单方纠错的方式，采用发送接受双方协同纠 错的双工方式，在网络条件较好的情况下，接收方向发送方发送纠错反馈数据包， 提示发送方重新发送丢失的视频数据；在网络条件较差的情况下，根据网络状况 动态的切分图像，以图像宏块的方式为纠错对象，降低冗余度，提高纠错效率。 分析了当前视频数据存储方法的种种弊端，提出了分布式视频数据服务器 协同管理方式以及建立视频特征数据库与图像存储管理数据库分离的双层结构， 并设计了一套监控视频管理数据库模型。 基于此，本文分析了集自动监控、实时视频远程传输、监控视频数据库管理、 自动高效识别等功能于一体的智能视频监控系统的设计过程。 1 5 本文的章节安排 本文主要分为两大部分，第一部分主要阐述视频监控系统的发展现状、系统 设计使用中现存的问题、视频压缩与传输技术的研究、图像差错检验实现以及多 媒体数据库技术应用等方面的内容；第二部分主要讲述智能视频监控管理系统的 实现过程，包括系统总体分析、功能模块详细设计以及实现编码等内容。 按照章节结构划分，本文分为七章。 第一章引言 5 第一章绪论。主要介绍了本文的研究背景，简述了监控系统的发展过程以及 国内外研究现状，从理论和应用的角度分析了我国视频监控系统现存的问题和缺 陷。 第二章视频数据传输技术的分析与研究。本章首先介绍了主流的视频压缩编 码技术卅2 6 4 编码标准，阐述了视频传输的基本原理以及传统传输方法的运作 过程。在此基础上，本章提出了根据带宽变化情况，多种传输方式相结合的自适 应传输解决方案，并对此方案的技术原理、实现过程、测试效果等方面做出了详 细的阐述和分析。 第三章视频图像差错检验技术的分析与研究。本章首先介绍了几种常用的差 错检验技术的基本原理，并从使用效果上对其进行了对比分析，指出了每种技术 的优势和缺陷。基于此，本章提出了一种动态分割图像、分区域纠错的复合差错 检验方法，并对方案实现过程、实际测试做出了详尽的阐述和分析。 第四章多媒体数据技术的分析与研究。本章对多媒体数据库技术的概念、适 用范围、数据模型、设计过程等方面做出了简要介绍。通过分析智能视频监控系 统的设计需求以及视频数据存储管理的特点，本章提出了视频特征信息管理数据 库与视频存储管理数据库相分离的构想，抽取视频码流的特征信息作为查询视频 片段的条件，此方法简化了视频检索工作的复杂性，又提高了数据库运作效率。 第五章本章论述了对系统总体结构、业务流程和总的功能结构进行了简要的 分析。 第六章本章分析了通信传输管理中间件、监控视频管理模块、实物数量智能 识别模块以及识别数据管理模块等系统核心部件的设计方法和实现过程。 第六章结论。简要总结论文的研究结果，并对未来的研究工作提出建议。 6 第二章视频数据传输技术的分析与研究 第二章视频数据传输技术的分析与研究 视频监控系统一般选用h 2 6 4 标准作为用于传输的视频格式。按照此标准压 缩的视频流压缩比较高，而且会随着信道情况的变化自动调整编码码率，非常适 合用于i n t e m e t 远程传输，但是如果带宽频繁变化或过于狭窄，依然会出现丢包现 象”】，且监控系统运作的核心就是实现在任何网络状况下实时获取远程监控视频， 所以解决好视频传输问题是设计监控系统的首要工作。本文在分析了视频传输技 术原理的基础上，提出一种结合多种传输方式的自适应视频远程传输策略。 2 1h 2 6 4 视频编码技术 h 2 6 4 是由i t u - t 视频编码专家组( v c e g ) 和i s o i e c 移动图像专家组( m p e g ) 于2 0 0 3 年共同提出的最新国际视频编码标准。相比h 2 6 3 、h 2 6 l 等视频压缩标 准，如，h 2 6 4 明显的降低了编码率，提高了压缩效率，更适用于多媒体视频流远 程传输；在相同重构图像质量下，能节约5 0 的码流；采用分层模式，分别定义了 视频编码层( v c l ) 和网络提取层( n a l ) 瞵j 。h 2 6 4 引入了面向i p 包的编码机制，有 利于网络中的分组传输，支持网络中视频的流媒体传输；具有较强的抗误码特性， 特别适应丢包率高、干扰严重的无线视频传输的要求。因此，h 2 6 4 被普遍认为是 最有影响力的行业标准。 2 1 1h 2 6 4 标准的关键技术 与h 2 6 3 等视频编码标准相比，h 2 6 4 并没有改变视频编码框架的整体结构， 而是在多个功能模块中引用了新技术，提高了编码效率，扩展了适用范围。它的 关键技术主要有： 分层结构 h 2 6 4 的概念结构分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 和网络提取层 洲a l ：n e t w o r ka b s t r a c t i o nl a y e r ) ，前者用于承载视频内容，高效的显示视频图像； 后者用于调用适当的方法对视频数据打包、传送。v c l 层包括基于块的运动补偿 混合编码和一些新特性，n a l 负责使用下层网络的分段格式来封装数据，包括组 帧、逻辑信道的信令、定时信息的利用或序列结束信号等。n a l 包括头部信息、 段结构信息和实际载荷信息，即上层的v c l 数据【9 】。v c l 和n a l 之间定义了一 个基于分组方式的接口，以供二者协同完成编码压缩和网络传输工作。 在v c l 层中，h 2 6 4 编码标准采用了分组技术来合成图像，即把几帧图像分 为一组( g o p ) 。按照功能和生成方式，视频帧作为可分为i 帧、p 帧、b 帧。 i 帧是一个全帧压缩编码帧，将全帧图像信息进行压缩编码。它包含了较大的 数据信息量，载有图像背景和运动主体的详情，所以在解码时仅用i 帧的数据就可 第二章视频数据1 专输技术的分析与研究 7 重构完整图像。它是g o p 的基础帧，不需要参考其他画面生成，为p 帧和b 帧提 供了参考对象，所以它不需要考虑运动矢量。在g o p 中只有一个i 帧【l 。 p 帧是前向预测编码帧它以i 帧为参考帧，采用运动补偿的方法估算它与前 面的i 或p 帧的差值及运动矢量。它属于前向预测的帧问编码，h 参考前面最靠近 它的i 帧或p 帧，另外，p 帧可以是其后面p 帧的参考帧弛可以是其前后的b 帧 的参考帧。p 帧是以i 帧为参考帧，在i 帧中找出p 帧“某点”的预测值和运动矢量， 取预测差值和运动矢量一起传送。在接收方根据运动矢量从i 帧中找出p 帧“某点” 的预测值并与差值相加以得到p 帧“某点”样值，从而可得到完整的p 帧。p9 贞采 用差值传送，它的压缩比较高。南于p 帧是参考帧，它的丢失可能造成解码错误的 护散。 b 帧是双向预测帧，它通过之前的帧以及当前帧的后续帧进行预测。b 帧的 优势是能够匹配堵塞在采用前向预测的上一帧中的背景区域，双向预测通过平衡 前向及后向预测可以降低噪声。在编码器中采用这种功能会要求更多处理量，因 为必须同时针对前向及后向预测执行运动估测，而这会明显使运动估计计算需求 加倍。b 帧工具需要更复杂的数据流，因为相对采集及显示顺序而言，帧小按顺 序解码。这个特点会增加时延，因此不适合实时性较高的应用。b 帧不用于预测， 因此可以针对某些应用进行取舍。在低帧速应用中可以跳过它们而不会影响随后i 与p 帧的解码。1 帧、b 帧、p 帧的帧间运动估测示意图如图2 1 所示。 一霸i 堕| 、b 2 图21 视频帧帧问运动估洲图 f l 醇1i n t e r - f r a m e m o t i o ne s t i m a t i o n 复合模式运动估计 h2 6 4 支持1 4 或1 腮像素精度的运动矢量。在1 ，4 像素精度时可使用6 抽头 滤波器来减少高频噪声，对于】，8 像素精度的运动矢量，可使用更为复杂的8 抽头 的滤波器。在进行运动估计时，编码器还可选择“增强”内插滤波器来提高预测 的效果i 。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被分为不同的子块，形成7 种不 同模式的块尺寸。这种多模式的灵活和细致的划分，更切合图像中实际运动物体 8 第二章视频数据传输技术的分析与研究 的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以包 含有l 、2 、4 、8 或1 6 个运动矢量。 在h 2 6 4 中，允许编码器使用多于一帧的先前帧用于运动估计，这就是所谓 的多帧参考技术【1 2 】。编码器将选择对每个目标宏块能给出更好的预测帧，并为每 一宏块指示是哪一帧被用于预测。 视频块动态存储【1 3 】 对连续帧的不同块采用临时存放的方法，这样，只需对连续帧中有改变的部 分进行编码。该算法采用运动预钡0 和运动补偿来完成。对某些特定的块，在一个 或多个已经进行了编码的帧执行搜索来决定块的运动向量，并由此在后面的编码 和解码中预测主块。 2 1 2h 2 6 4 标准的优势 h 2 6 4 是国际标准化组织( i s o ) 和国际电信联盟( i t u ) 共同提出的继m p e g 4 之后的新一代数字视频压缩格式【1 4 】，它即保留了以往压缩技术的优点和精华又具 有其他压缩技术无法比拟的许多优点。 低码率编码：和m p e g 2 和m p e g 4a s p 等压缩技术相比，在同等图像质量 下，采用h 2 6 4 技术压缩后的数据量只有m p e g 2 的1 8 ，m p e g 4 的1 3 。显然， h 2 6 4 压缩技术的采用将大大节省用户的下载时间和数据流量收费。 保证图像质量：h 2 6 4 能提供连续、流畅的高质量图像。 增强容错能力：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包等错 误的必要工具。 提高网络适用性：h 2 6 4 提供了网络适应层( n e t w o r ka d a p t a t i o nl a y e r ) ，所 以h 2 6 4 的文件可以在不同网络上传输( 例如互联网，c d m a ，g p r s ，c d m a ， c d m a 2 0 0 0 等) 。 2 2 流媒体传输协议 传输协议是计算机通信的共同语言，是计算机建立网络连接时必须遵照的条 约。传输协议为数据的网络传输提供了信道连接管理、完整性评估反馈等重要功 能。近年来，由于网络技术的不断发展，通信媒介的更新十分迅速，无线传输、 卫星通讯、3 g 网络得到飞速发展。硬件设施的升级和传输技术的提高都是为了适 应日益变化的传输需求，尤其是传输内容发生了巨大的变化，已经由先前的小信 息量数据转变为现今的高清音视频数据。为了适应当今的形势，传输协议也在不 断的进行改进。 2 2 1 t o p 与u d p 传输协议 t c p 协议和u d p 协议是最基础的传输协议，它们提供了最基本网络传输服务。 第二章视频数据传输技术的分析与研究 9 ，t c p i p 协议即传输控制协议。在网终通信传输机制中，它属于“面向连接， 可靠传输 的类型。面向连接的传输意味着住进行通信以前，需要在两个系统之 间建立逻辑连接，在每个数据传输的过程中都需要进行应答以保证数据包的完整。 t c p 提供了一个完全可靠的、面向连接的、全双工的、流传输服务。允许两个应 用程序建立一个连接，并在一个方向上发送数据，然后终止连接，每一个t c p 连 接可靠地建立完善的终止，在终止发生前，所有数据都会被可靠的传送。 u d p i p 协议即用户数据报协议。它属于“面向无连接，不可靠传输”的类型。 该协议只负责接受和传送由上层协议传递的消息，它本身不做任何的检测、修改 与分析，上层协议需要自己处理这些事务。u d p i p 协议中，采用数据包传输方式， 它的包头包括四个域，涉及地址信息与包的长度和校验信息。与此对应，t c p 包 的头信息有多个域。因此u d p 的网络开销一般要小于t c p i p 协议。由于u d p 协 议在传送数据过程中没有建立连接，亦不进行检查，因此在优良的网络环境中， 其工作的效率较t c p i p 协议要高。 2 2 2r t p r t c p 协议 r t p r t c p 协议即实时传输协议与实时传输控制协议，专用于网络上传输多 媒体数据流的一种传输协议，该协议可以实现在网络中的流媒体数据的单播和组 播，同时为实时数据传输提供时序重构、帧丢失检测、数据安全等多种服务【1 5 】。 r t p 为传输音频、视频、模拟数据等实时数据的传输协议。它可以应用于流 媒体的单播与组播。与传统的提供高可靠数据传输服务的t c p 协议相比，它更加 侧重数据传输的实时性。此协议提供的服务包括时间载量标识、数据序列、时戳、 传输控制等。工作时，r t p 协议和u d p 二者共同完成传输层协议功能。u d p 协议 只是传输数据包，不管理数据包传输的时间顺序。r t p 的协议数据单元是用u d p 分组来承载的，所以r t p 是一种无连接的传输数据报文协议，它本身不能为按顺 序传送数据分组，所以它无法提供可靠的确保机制，同样也不提供流量控制或拥 塞控制等服务。 r t c p 是指接收方向数据发送方发送控制报文，它主要执行下列四大功能： 提供数据发布的q o s 质量反馈，这是r t c p 最主要的功能。作为r t p 传输 协议的一部分，与其他传输协议的流和阻塞控制有关。反馈对自适应编码控制直 接起作用。反馈功能是指r t c p 发送者和接收者反复交换网络状态反馈报文。 发送带有规范指示( c n 。州e ) 的r t p 源持久传输层标识。如发现冲突， 或程序重新启动，导致s s r c 标识改变，接收者需要c n a m e 跟踪参加者。接收 者也需要c n a m e 与相关r t p 连接中给定的几个数据流联系。 用于控制r t c p 数据包数量的指定用语。前两种功能要求所有参加者发送 r t c p 包，因此，为了防止r t p 扩展到大规模数量，速率必须受到控制。 l o 第二章视频数据传输技术的分析与研究 传送最小连接控制信息。此功能用在“松散控制”连接，那里传输参加者 自由进入或离开，没有成员控制或参数协调，r t c p 充当通往所有参加者的方便通 道，但不必支持应用的所有控制通讯要求。 在r t p 会话期间，各会话成员周期性的发送r t c p 控制包，因此服务器可以 利用这些控制信息灵活的改变数据传输速率，当r t p 和r t c p 配合使用，它们能 以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数 据。根据用户间的数据传输反馈信息，可以制定流量控制策略，对于会话用户信 息的交互，可以制定会话控制策略。 2 3 视频传输控制技术概述 视频码流需要在带宽动态变化的公网上进行传输，网络环境的不稳定严重影 响压缩视频的传输质量。如果视频编码器的输出速率过快，而网络的带宽并不充 裕，那么信道就会因为容载了过多的数据包而发生网络拥塞；如果视频编码器输 出比特率过低或无控制的减小，那么将导致相邻视频段出现时间问隔，造成视频 播放延时停滞，另外，如果带宽能够承受更高的负载，过低的码率传输就严重浪 费了宝贵的网络资源。 2 3 1 码率控制技术 码率控制的工作就是根据传输网络的带宽来实时调整视频编码器的输出码 率。为了充分利用网络资源，并保证用户获得最优的视频质量，码率调控系统调 整并控制视频编码器的输出比特率，以满足带宽要求和保持平稳的输出码流，以 获取在质量和带宽利用率上的最佳均衡【1 6 1 。码率控制技术主要分为两种方法：可 变比特率控制和恒定比特率控制。 可变比特率控制 可变比特率控制就是在图像画面由较大的运动或画面纹理结构较复杂时使用 较高的输出码率，而在图像内容变化不大时使用较低的输出码率进行编码的码率 控制方法。可变比特率码率控制的工作流程如图2 2 所示。 图2 2 码率控制流程图 f i 9 2 2p r o c e s so fr a t ec o n t r o l l i n g 第二章视频数据传输技术的分析与研究 1 1 恒定比特率控制 恒定比特率控制就是无论当前图像内容如何变化都使用同样的码率。在恒定 比特编码的情况下，码率控制算法的目标是在保持输出比特率恒定的同时，获得 给定码率情况下的最佳图象质量【1 1 7 1 。由于恒定比特率控制算法的输出码率保持恒 定，便于信道的传输控制，但它忽略了图像活动性差异，容易造成图像画面质量 的波动。采用恒定比特率码率控制时，必须估计预测出未编码图像帧的复杂度并 动态设置其量化参数，输入为未进行编码压缩过的信源和编码后的目标码率，根 据对视频源复杂度估计、解码缓冲的大小及网络带宽估计动态调整量化参数，得 到符合要求的码率。 当编码器采用恒定比特率码率控制，输出码率会相当稳定，但重建图像的质 量会剧烈变化，且与信源的图像复杂度成反比；一旦视频序列中不同帧之间的重 建图像的质量波动过大，又会产生较差的视觉效果。实际的视频编码器中，一般 都要兼顾输出码率和重建图像的质量这两者的要求，一方面要确保输出码率比较 稳定以利于信道传输，另一方面，也要使得质量波动限制在一定的范围以内以保 证一定的视觉效果。 2 3 2r t p 数据包封装技术 封装r t p 数据包技术是一项较常用的视频传输技术。由于视频数据一般都比 较大，采用几个访问单元串联封装的方法可以将视频数据分割为多个体积较小的 视频单元，以g o p 为基本单位封装为独立的r t p 数据包，这种方式可以有效的减 小数据包体积，降低由于视频数据包信息量过大而引发的网络拥塞。r t p 数据包 结构分为两大部分，一是r t p 包头，二是视频数据负载。r t p 数据包包头记载了 g o p 的关键信息，通过对应关系，视频流的基本信息被映射到包头的各个属性中 i l 引。r t p 包头格式如图2 3 所示。 一1 - v = 2 p xc cmp t s e q u e n c en u m b e r 时间戳( t i m e s t a m p ) 同步源标识( s s r c ) 贡献源标识( c s r c l 图2 3r t p 包头格式 f i 薛3f o r m a to fr t pp a c k e t 版本( v ) 长度为2 位，标识r t p 版本。 填充标识( p ) 1 2第二章视频数据传输技术的分析与研究 长度为l 位，如设置填充位，在包尾将包含附加填充字，它不属于有效载荷。 填充的最后一个八进制包含一个八进制计数，此数值可以忽略。某些加密算法需 要固定大小的填充字，或为在底层协议数据单元中携带几个r t p 包j 扩展( x ) 长度为l 位，如设置扩展位，固定头后跟一个头扩展。 c s r c 计数( c c ) 长度为4 位，c s r c 计数包括紧接在固定头后c s r c 标识符个数。 标记( m ) 长度为1 位，标记解释由设置定义，目的在于允许重要事件在包流中标记出 来。设置可定义其他标示位，或通过改变位数量来指定标记位。 载荷类型( p t ) 长度为7 位，记录后面资料使用哪种加密的c o d e c ，接收方可依此找出相应 的解密d e c o d e r 出柬。 系列号 长度为1 6 位，系列号按照r t p 数据包的数量而自动加1 ，由接收方用来探测 包损失。系列号初值是随机的，防止外界对加密文本进行攻击。 时标 长度为3 2 位，时标反映r t p 数据包中第一个八进制数的采样时刻，采样时刻 必须从单调、线性增加的时钟导出，以允许同步及抖动计算。时标可以让接收方 在正确的时间将资料播放出来。 ( 查) s s r c 长度为3 2 位，s s r c 为同步源标识码。此标识不是随机选择的，目的在于使 一个r t p 包中不会出现两个同步源有相同的s s r c 标识。尽管多个源选择同一个 标识的概率很低，所有r t p 实现都必须探测并解决冲突。如改变源传输地址，也 必须选择一个新s s r c 标识以避免插入成环行源。 c s r c 列表 具有0 到1 5 项，每项3 2 位。c s r c 列表表示包内的对载荷起作用的源。标识 数量由c c 段给出。如超出1 5 个作用源，也仅标识1 5 个。c s r c 标识由混合器插 入，采用作用源的s s r c 标识。 使用r t p 数据包封装技术可以使h 2 6 4 视频流与其他的r t p 负载保持同步； 利用r t c p 的传输控制反馈可以控制视频流的传输过程，及时向发送方报告传输 结果；利用r t p 合成器可将h 2 6 4 视频流和其他来自多媒体终端系统的实时数据 流合成一个整体数据流进行网络传输；r t p 的解释器能转换数据流类型。 第二章视频数据传输技术的分析与研究 1 3 2 4 高可靠视频传输研究 保证监控视频码流安全、完整、及时传输是实现远程监控最为重要的一环， 它直接关系到监管中心的取证工作，但是，由于网络传输环境的动态变化，极易 出现拥塞情况，造成码流丢帧、时延，严重影响视频质量和完整传输，因此如何 解决在信道频繁变化下，实现监控视频优质传输成为远程监控系统设计的核心问 题。 2 4 1 现行传输方法分析 视频码流的实时传输是困扰远程监控系统正常工作的首要问题。如果采用专 用网络，可以保证高质量高效率地传输码流，但是成本会非常昂贵。如果采用公 网传输实时视频，就必须解决在低带宽下的传输问题，现有的视频传输方法主要 有以下3 种： 利用t c p 协议 t c p 协议为传输过程提供了可靠、可控的连接，它通过发送方与接收方的三 次信息“握手 ，保证传输数据都能被完整、无缺损的接收。但是采用t c p 协议 的最大缺点就是它的控制机制和连接方法太复杂，占用了系统宝贵资源，有可能 造成时延，更重要的是，如果t c p 检测到网络拥塞，t c p 的发送方会将发送的速 率降低一半，若t c p 不断检测到网络拥塞，则t c p 的发送方会不停地降低发送速 率，直到停止发送数据，所以基于t c p 协议构建的传输系统普遍出现传输实时性较 差的情况。 利用u d p 协议 u d p 协议的不同之处在于，它提供的是一种无连接传输，由于没有任何连接 状态的判断，它的传输效率较高，而且u d p 数据包具有较强的网络穿透能力，可 以用于网络环境相对复杂的场合进行网络通信。但是，正是由于它不提供连接状 态的判定，无法得到接收方发回的信息反馈，很难察觉在传输工作中是否发生了 丢包现象，无法提供传输完整性和安全性控制。 封装数据包 封装数据包是一种效率较高的传输方式，系统可以根据传输环境的变化，调 整数据包体积的大小，灵活的控制传输吞吐量。但此种方法必须配备高效、完善 的差错检测方案，为了保证数据传输的完整性，接收方必须对所接收到的数据包 进行差错重排、丢包判断等工作，如果差错检测工作的效率低下，那么就可能出 现时延。 综上所述，鉴于网络环境的不确定性，若没有对信道通信质量的预先判断， 只采用单一的传输方法很难实现