（控制理论与控制工程专业论文）嵌入式工业视频监控系统的设计与实现.pdf

青岛科技大学研究生学位论文 嵌入式工业视频监控系统的设计与实现 摘要 分析了工业视频监控系统和视频编解码技术的发展现状，提出了一种以嵌入 式技术、视频编解码技术、网络传输技术为核心的嵌入式工业视频监控系统的设 计方案。针对工业视频监控中对画面流畅度要求不高，画面分辨率要求不高的工 业视频监控情况，分析了现有嵌入式视频监控系统的结构，提出了一种基于视频 采集芯片+ a r m 处理器的嵌入式工业视频监控系统的解决方案，选择m p e g 4 作为视 频编解码标准，并通过软件实现。 首先设计了硬件系统，详细分析了目前嵌入式处理器的特性，选择$ 3 c 2 4 4 0 作为系统的处理器，以$ 3 c 2 4 4 0 处理器为核心，基于核心板加底板的硬件结构， 设计了外围接口电路包括以太网接口电路、摄像头模块接口电路、j t a g 接口电路， 并设计了系统电源电路。然后设计了软件系统，包括系统软件设计和应用软件设 计两部分。系统软件设计中，分析了目前嵌入式操作系统的特性，选择嵌入式 l i n u x 作为系统的操作系统，并将嵌入式l i n u x 的移植到嵌入式系统中，包括 b o o t l o a d e r 下载、内核分析与移植以及根文件系统的制作。应用软件设计中，基 于c s 结构设计了服务器软件，包括x v i d 的移植、视频采集、视频压缩和视频 传输程序，然后设计了客户端软件，包括视频接收、视频解码和视频播放程序。 嵌入式工业视频监控系统采用嵌入式处理器，直接通过软件方式实现视频编 码，与采用d s p 处理芯片相比开发成本约减少2 0 ，功耗约降低3 0 ，综合测试 表明嵌入式工业视频监控系统稳定性强、可靠性高，功能完善，具有良好的应用 前景。 关键词：视频监控；m p e g 4 ；s 3 c 2 4 4 0 ：嵌入式l i n u x 嵌入式t 业视频监控系统设计与实现 d e s i g na n di m p l e 征! n t a t i o no fe m b e d d e d m u s t r yv i d e om o n i t o rs y s t e m a b s t r a c t an e ws c h e m eo fe m b e d d e di n d u s t r yv i d e om o n i t o rs y s t e mi sp r o p o s e d ，c o m p o s e d w i t he m b e d d e dt e c h n o l o g y , v i d e od e c o d ea n de n c o d et e c h n o l o g ya n dn e t w o r k t e c h n o l o g ya f t e ra n a l y z e dt h e s t a t u so fi n d u s t r yv i d e om o n i t o rs y s t e ma n dv i d e o d e c o d ea n de n c o d et e c h n o l o g y t h es t r u c t u r eo fe m b e d d e dv i d e om o n i t o rs y s t e mi s a n a y l i z e d 。a n dan e ws c h e m eb a s e do nv i d e oc a p t u r ec h i pa n da rmp r o c e s s o ri s p r o p o s e d b e c a u s et h e r ea r em a n yi n d u s t r yv i d e om o n i t o rc a s ew h o s ev i d e oh a sp o o r q u a l i t ya n dc h a n g e ss l o w l y a n di t s e l e c t sm p e g 4a sv i d e oc o d i n gs t a n d a r d ，a n d i m p l e m e n t sb ys o f t w a r e f i r s tt h ed e s i g np r o c e s so fh a r d w a r ei si n t r o d u c e d s 3 c 2 4 4 0i sc h o s e na st h e p r o c e s s o ra f t e ra n a y l i z i n gt h ep e r f o r m a n c eo fp r e s e n t l ye m b e d d e dp r o c e s s o r a n dt h e p e r i p h e r yi n t e r f a c ei sd e s i g n e db a s e do nt h es t r u c t u r eo fk e r n e lb o a r da n dm o t h e r b o a r d ， a n di ti sc o m p o s e dw i t he t h e r n e ti n t e r f a c e ，c a m e r ai n t e r f a c e ，j t a gi n t e r f a c e a n dt h e p o w e rc i r c u i ti sd e s i g n e d a n dt h es o f t w a r ei sd e s i g n e d ，w h i c hi sm a d eo fs y s t e m s o f t w a r ea n da p p l i c a t i o ns o f t w a r e t h ep e r f o r m a n c eo fp r e s e n t l yo p e r a t i n gs y s t e mi s a n a y l i z e d ，a n de m b e d d e dl i n u xi s c h o s e na st h eo p e r a t i n gs y s t e mi nt h ed e s i g no f s o f t w a r e a n dt h et r a n s p l a n tp r o c e s so fe m b e d d e dl i n u xi sp a r t i c u l a r l yi n t r o d u c e d ，a n d i ti m p l e m e n t sb yl o a d i n gb o o t l o a d e r , t r a n s p l a n t i n gk e r n e la n dm a k i n gf i l es y s t e m s e r v e rs o f t w a r ei sd e s i g n e db a s e do nc ss t r u c t u r e i tc o n t a i nt h ep r o g r a mo fx v i d t r a n s p l a n t ，v i d e oc a p t u r e ，v i d e oe n c o d ea n dv i d e ot r a n s m i s s i o n a n d t h ec l i e n t s o f t w a r ei sd e s i g n e d ，w h i c hc o n t a i n sv i d e oi n c e p t ，v i d e od e c o d ea n dv i d e op l a y e m b e d d e di n d u s t r yv i d e om o n i t o rs y s t e md o n 、th a v ed s p c h i p ，a n dt h em p e g 4 i s i m p l e m e n t e db ys o t m a r e t h ec o s td e c r e a s ea b o u t2 0 a n dt h ec o s ti np o w e r d e c r e a s ea b o u t3 0 t h et e s ti n d i c a t e st h a te m b e d d e di n d u s t r yv i d e om o n i t o rs y s t e m r u n ss t e a d i l ya n dh a sp e r f e c tf u n c t i o n i tw i l lb ew i d e l yu s e d k e yw o r d s ：v i d e om o n i t o r ；m p e g 一4 ：s 3 c 2 4 4 0 ；e m b e d d e dl i n u x i i 青岛科技大学研究生学位论文 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含本人已用于其他学位申请 的论文或成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了 明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期： 年月 日 关于论文使用授权的说明 本学位论文作者完全了解青岛科技大学有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人离校后发表或 使用学位论文或与该论文直接相关的学术论文或成果时，署名单位仍然为青岛科 技大学。( 保密的学位论文在解密后适用本授权书) 本学位论文属于： 保密口，在年解密后适用于本声明。 不保密口。 ( 请在以上方框内打“ ) 本人签名： 导师签名： 日期： 日期： 5 9 日日 萝砖 月月 广6 6年年 口，7 卯卵， 咿力7l 欠协 王初 青岛科技大学研究生学位论文 1 绪论 1 1 工业视频监控系统的发展现状 随着工业自动化水平的提高，视频监控系统在工业领域中的应用也越来越广 泛。视频监控系统是安全防范系统的重要组成部分，是一种防范能力较强的综合 系统【l l ，以其直观、方便、信息内容丰富而得到了广泛应用。 自从自动摄像机、闭路电视等出现后，模拟视频监控系统也随之出现，并经 过较长时间的发展，已经非常成熟，在实际工程中得到了非常广泛的应用。模拟 监控系统一般由前端设备、传输电缆、切换控制设备以及显示设备等几部分组成 口j 。在模拟监控系统中，各种设备供应商数目众多，设备种类琳琅满目，功能各 异，基本可以满足用户的各种需求。然而随着人们生活水平提高，对监控的要求 越来越严格，尤其是在网络化的当代，模拟监控系统的缺点和弊病暴露出来，并 越来越难以适应技术和需求的发展。首先模拟视频监控系统受到线路的限制，不 能长距离布线，限制了其应用范围。其次可扩展能力差，模拟信号易受干扰，且 监控图像质量不好。再次监控信息量大，受存储设备的制约，存储成本高【3 】。 随着计算机的普及应用，网络通信技术及图像压缩处理技术的快速发展，数 字化和网络化成为视频监控领域的一种趋势【4 】。上世纪末，基于p c 的数字化网 络视频监控系统迅速崛起，部分地取代了以视频矩阵图像分割器、录像机为核心， 辅以其他设备的模拟视频监控系统。数字化的视频通信在图像质量、传输距离、 抗干扰能力等方面都要优越于传统的模拟视频通信系统，并且数字图像处理更加 方便。因此，基于计算机的数字化网络视频监控系统逐渐取代了传统的模拟视频 监控系统垆j 。但是基于计算机的数字化网络视频监控系统也存在明显的缺陷，它 必须选用专用的图像压缩与解压缩视频卡，使得视频采集设备过于复杂，系统稳 定性和可靠性都不高，且成本较高1 6 j 。 进入2 1 世纪，嵌入式技术、多媒体图像处理技术的迸一步发展，为嵌入式 网络视频监控系统的发展提供了技术条件【| 7 】【8 1 。嵌入式系统是指以计算机技术为 基础，以应用为中心，软件硬件可剪裁，适应系统对功能、可靠性、成本、体积、 功耗严格要求的专用计算机系统【9 1 。它以嵌入式微处理器和嵌入式操作系统为核 心，主要由嵌入式微处理器、外围硬件设备、嵌入式操作系统以及用户应用软件 等部分组成。嵌入式系统具有与一般计算机系统不同的特点和要求，是计算机技 术、半导体技术及机械技术等和各个行业具体结合的产物，是一个技术密集、不 断创新的高集成度的知识集成系统。它系统专用性强，软硬件结合紧密，系统资 嵌入式工业视频监控系统设计与实现 源有限，在体积、功耗和配置等方面有明显约束。系统工作可靠性强，应用十分 广泛【i o 】【1 。 嵌入式网络视频监控系统可以提供友好的用户接口，操作界面简单易用，用 户在世界的任何地方都可以通过网络来监控前端现场，且采用多级权限控制，操 作权限分明。嵌入式操作系统的应用，使得视频监控系统集成了网络传输功能， 支持多种网络协议，具备嵌入式w e bs e r v e r 功能i l2 。，可以通过浏览器远程访 问，并可以通过浏览器设置参数，实时监控视频信号，查看视频设备状态，每个 安装有监控软件的p c 用户可以进行远程图像的实时监控，并可以根据实际需要 对视频素材进行高效精确的查询和存储管理【i 3 j 【i 4 1 。 因此基于嵌入式系统和网络技术的视频监控系统逐渐代替传统模拟视频监 控系统和基于p c 的远程视频监控系统在工业监控领域得到广泛的应用。 1 2 视频编解码技术概述 视觉信息以其直观性、确切性、生动性等特点在多媒体领域中占有重要的地 位。视频信息的处理成为信息技术的研究重点。随着多媒体技术的发展，实现数 字视频的实时传输是目前研究的主要方向之一，但是视频信息数据量非常庞大， 这就给计算机的存储能力、处理能力以及通信网络的传输带宽带来了相当大的困 难，因此无论从经济还是技术角度，光靠硬件的支持并不能满足人们的需要，为 了节省存储空间、节省c p u 时间和传输时间必须对视频信息进行压缩，在保证 图像质量的前提下，最大限度地降低图像数据量，以利于图像的存储和传输【i 引。 由于原始图像数据存在很大的信息冗余度，我们可以通过去除这些冗余信 息，达到压缩的目的，这就为视频压缩编码提供了可能性 1 6 1 。 首先，视频帧帧内相邻像素间是空域相关的，通过变换编码的方法可以消除 视频帧的空间冗余。其次，对于连续视频序列来说，相邻帧之间也存在较强的时 域相关性，尤其是运动较慢的视频对象，时域相关性更大，可以通过预测编码的 方法消除连续视频帧之间的时间冗余。另外，由于人眼对图像边缘的急剧变化不 敏感，对图像的亮度信息敏感而对色彩的分辨力较弱，利用人眼的这些视觉特点 也可以实现图像的高压缩率。图像压缩分为有损压缩和无损压缩两种。无损压缩 是指在不引入任何失真的条件下使比特率为最小的压缩方法，它可以保证图像内 容不发生改变。有损压缩是指在一定比特率下获得最佳的保真度，或在给定保真 度下获得最小的比特率，这种压缩方法使图像内容的差别控制在一定的范围内， 保证观察效果的主观质量。 近年来，一系列国际视频压缩编码标准的制定，极大地促进了视频压缩编码 技术和多媒体通信技术的发展。视频压缩编码标准的制定工作主要是由国际标准 2 青岛科技大学研究生学位论文 化组织( i s o ) 和国际电信联盟完成的。到目前为止，由上述两个国际组织制定的有 关视频编码的国际标准有h 2 6 1 ，m p e g 1 ，m p e g 2 ，h 2 6 3 ，m p e g 一4 ，m p e g 7 h 2 6 4 等i i7 。9 1 。其中，h 2 6 1 ，m p e g 1 和m p e g 2 采用了第一代压缩编码方法， 如预测编码、变换编码、熵编码以及运动补偿。从m p e g 一4 标准以后，采用的是 第二代视频编码方法，如分段编码、根据模型的编码和基于对象的编码等。另外， 随着网络信息的不断增长，人们获得感兴趣的信息的难度越来越大，实现基于内 容的检索，并支持电子内容传输和电子贸易的新型多媒体压缩编码标准的制定， 也成为m p e g 组织新的研究方向【2 0 】。其中m p e g 4 以其低传输速率要求、低分 辨率、高压缩率等特点成为工业视频监控系统中广泛采用的压缩算法之一。 1 3 课题的研究意义 目前工业领域中嵌入式视频监控系统主要有以下几种方案： 1 ) 视频采集芯片+ d s p 处理器+ a r m 处理器 2 ) 视频采集芯片+ 视频压缩芯片+ a r m 处理器 3 ) 视频采集芯片+ a r m 处理器 其中方案一采用视频采集芯片加d s p 处理器和a r m 处理器，这种结构的嵌 入式监控系统具有运算速度快、图像处理能力强的优点，而且具有完备的操作系 统功能。但是方案一具有两块处理器芯片，设计和调试困难，系统成本非常高， 不适合一般的工业监控场合。方案二采用视频采集芯片加视频压缩芯片和a r m 处理器的结构，该方案具有完整操作系统功能，拥有完备的网络协议栈和文件系 统，且只有一个处理器，设计调试方便，开发相对容易，成本较低，但是方案二 采用固定算法的硬件压缩芯片进行视频编码，算法灵活性小，且画面质量一般， 系统升级困难【2 。方案三采用视频采集芯片加a r m 处理器的结构，该方案通过 移植视频压缩算法对原始的视频帧进行压缩编码，算法灵活度高，可以根据实际 的监控要求调整视频编码算法，且方案具有完整操作系统功能，拥有完备的网络 协议栈和文件系统，单处理器功耗低，设计调试更加方面，开发容易，且成本低。 工业现场中较多的工业监控场合监控画面变化缓慢，对监控的实时性要求不 高，每秒5 帧的传输速率即可满足监控实时性的要求，视频帧采用1 7 6 , , 1 4 4 尺寸， 即可满足对监控现场画面的要求。但是多数工业监控场合对监控系统的成本和功 耗要求比较严格。方案三在实时性和画面质量方面性能偏低，但是足以满足画面 变化缓慢，低实时性、低画面质量的监控场合的要求。而且基于视频采集芯片和 a r m 处理器的视频监控系统成本低，功耗偏小，开发相对容易。因此针对监控 画面变化缓慢，对监控画面质量和实时性要求不高的监控场合，以视频采集芯片 和a r m 处理为硬件基础设计一种基于m p e g 4 编码标准的嵌入式工业视频监控 3 嵌入式工业视频j 监控系统设计与实现 系统具有十分重要的意义。 嵌入式工业视频监控系统处理器采用a r m 9 2 0 内核的$ 3 c 2 4 4 0 ，操作系统选 用嵌入式l i n u x 操作系统，视频编码方式采用m p e g 4 编码标准，并通过软件方 式实现。系统主要用于局域网内的视频监控场合，采用典型的两层结构的客户端 服务器( c l i e n t - s e r v e r ) 模型。系统应用场景图如图1 1 所示。 监控终端 图卜1 嵌入式视频监控系统应用场景 f i g 1 1t h ea p p l i c a t i o no f e m b e d d e dv i d e om o n i t o r 本课题研究的嵌入式监控系统有以下优点： 1 ) 采用嵌入式处理器实现视频帧编码、存储和传输功能，降低了系统的设 计和调试难度，提高了系统的稳定性，系统功耗小、成本低。 2 ) 通过代码方式实现了基于m p e g 4 标准的视频编码，降低了硬件的开发难 度，可以灵活选用压缩算法，克服了专用硬件压缩芯片算法固定、灵活性差的缺 点。 3 ) 基于以太网实现工业现场的视频监控远程监控功能，系统稳定性强、可 靠性高。 4 青岛科技大学研究生学位论文 1 4 本文的主要内容及各章节安排 本文在详细查阅中外有关资料，总结前人研究工作的基础上，根据实际情况， 在能够满足工业现场应用需要的条件下，基于视频采集芯片加a r m 处理器的结 构，设计了一种应用于工业监控领域的嵌入式视频监控系统。以a r m 9 2 0 内核的 s 3 c 2 4 4 0 处理器为核心实现了硬件系统的设计，详细介绍了监控系统硬件系统的 设计过程，包括处理器选型，外围接口电路设计等。软件系统分为嵌入式视频监 控终端的应用软件设计和远程客户端应用软件设计。以嵌入式l i n u x 操作系统为 软件平台，采用多线程技术实现了嵌入式视频监控终端应用软件的设计。远程客 户端软件通过v c h 编程语言实现。 第一章绪论，阐述了本课题研究的背景，论述了视频监控系统的发展现状 和视频编解码技术。针对工业领域监控的特点提出了监控系统的设计方案，并给 出了本课题研究的意义。 第二章m p e g 4 编解码技术分析，介绍了m p e g 4 标准，分析了m p e g 4 标 准编解码的具体实现过程，针对嵌入式处理器提出了m p e g 4 编码技术的实现方 案，并对m p e g 4 视频传输技术进行了介绍和分析。 第三章系统硬件设计，介绍了嵌入式工业视频监控系统处理器的选型和硬 件结构设计，并对外围接口电路包括以太网接口电路、摄像头模块接口电路、 j t a g 接口电路进行了设计，并设计了系统的电源电路。 第四章系统软件平台组建，阐述了操作系统的选择以及嵌入式l i n u x 的特 点，详细介绍了嵌入式l i n u x 操作系统的移植和x v i d 的移植过程。 第五章系统软件设计及实现，介绍了系统客户端一服务器( c l i e n t s e r v e r ) 模型 的软件结构，并详细介绍了服务器、客户端、网路通信、网络传输程序设计。 第六章系统综合测试，介绍了嵌入式工业视频监控系统综合测试情况。 5 嵌入式工业视频监控系统没计与实现 2m p e g 4 编解码技术分析 2 1m p e g 4 标准 m p e g 4 标准由i s o i e c 于1 9 9 9 年底制定，与m p e g 1 和m p e g 2 相比它支 持的功能更多，包括7 个新的功能1 2 2 。可粗略划分为3 大类：基于内容的交互性、 高压缩率和灵活多样的存取模式。m p e g 4 开始时是为了实现视频会议、可视电 话的低比特率编码而设计的，由于通用的芯片的性能提高和价格下降，基于软件 平台的压缩方法也越来越多，而且由于应用需求的变化，m p e g 4 修改了工作计 划，将m p e g 4 定义为“视听对象的编码。m p e g 4 标准文档包含6 个部分1 2 3 - 2 6 1 ： ( 1 ) i s o i e c1 4 4 9 6 1p a r t i ：s y s t e m s ，系统部分； ( 2 ) i s o i e c1 4 4 9 6 2p a r t 2 ：v i d e o ，视频编码部分； ( 3 ) i s o f l e c1 4 4 9 6 3p a r t 3 ：a u d i o ，音频编码部分； ( 4 ) i s o i e c1 4 4 9 6 4p a r t 4 ：c o n f o r m a n c et e s t i n g ，一致性测试部分； ( 5 ) i s o i e c1 4 4 9 6 5p a r t 5 ：r e f e r e n c es o f t w a r e ，参考软件部分； ( 6 ) i s o i e c14 4 9 6 6p a r t 6 ：d e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ， 传送多媒体集成框架部分； m p e g 4 不仅是针对一定比特率下的视频、音频编码，而且更加注重了多媒 体系统的交互性和灵活性。m p e g 4 标准的传输速率要求非常低，在 4 8 0 0 6 4 0 0 0 b i t s s e e 之间，分辨率为1 7 6 x 1 4 4 。m p e g 4 利用很窄的带宽，通过帧 重建技术，进行压缩和传输数据，来实现以最少的数据获得最佳的图像质量。 和m p e g 1 、m p e g 2 相比，m p e g 4 更适合于交互a v 服务及远程监控。 m p e g 4 是使你由被动变为主动( 不再只是观看，你可以加入其中，即有交互性) 的动态图像标准，它另一个特点是它的综合性。从根源上说，m p e g 4 将自然物 体与人造物体相溶合( 视觉效果意义上的) 。m p e g 4 的设计目标还有更广的适应性 和更灵活的可扩展性。 m p e g 4 引入a v 对象，这就使得更多的交互操作成为可能。a v 对象是 m p e g 4 为支持基于内容的编码而提出的。在m p e g 4 中所见的视频和音频己不 再是过去m p e g l 和m p e g 2 中图像帧或者帧频的概念，而是一个个视听场景， 不同的a v 场景由不同的a v 对象组成。a v 对象是听觉，视觉，或者视听内容的 表示单元。其中最基本的单元是原始的a v 对象，它可以是自然的或者合成的声 音或图像等，具有更高效的编码、高效的存储与传播及可交互操作的特性。原始 6 青岛科技大学研究生学位论文 a v 对象又可以组成复合a v 对象。整个m p e g 4 就是围绕如何高效地编码a v 对 象，如何有效地组织和传输a v 对象而编制的。因此a v 对象的编码是m p e g 4 编码技术的核心。 m p e g 4 的码流速率在网络传输中是可以设定的，清晰度也可在一定的范围 内相应的变化，这样便于用户根据实际应用中对录像时间、传输路数和清晰度的 不同要求进行不同的设置，大大提高了系统在使用时的适应性和灵活度。而且可 采用动态侦测技术，动态时快录，静态时慢录，从而减少平均数据量，节省存储 空间。且当在传输有误码或丢包现象时，m p e g 4 受到的影响非常小，且能迅速 恢复。 m p e g 4 还提供了基于内容的多媒体数据访问工具，如索引、上传、下载、 超级链接、删除等。利用这些工具，用户可以非常方便地从多媒体数据库中有选 择地获取自己所需要的与对象有关的内容，并提供内容的操作和位流编辑功能， 可应用于交互式的家庭购物，淡入淡出的数字化效果等。m p e g 4 提供了更高效 的自然或合成的多媒体数据编码的方法。可以把自然场景或对象组合起来成为合 成的多媒体数据。 m p e g 4 基于更高的编码效率。与已存在的或即将形成的其它标准相比，在 相同的比特率下，它基于更高的视觉和听觉质量，这就使得在低带宽的信道上传 送视频和音频成为了可能。同时m p e g 4 还能对同时发生的数据流信息进行编码。 一个场景的多视角或多声道数据流可以被高效地、同步地合成为最终数据流，可 用于三维电影、虚拟三维游戏、飞行仿真练习等。 m p e g 4 提供了易出错环境的鲁棒性，已保证在许多无线和有线网络以及存 储介质中的应用。另外，m p e g 4 还支持基于内容的可分级性，即把质量、内容、 复杂性分成许多小块来满足不同用户的不同需求，并支持具有不同带宽，不同存 储容量的传输信道和接收端 2 7 - 3 1 1 。 2 2m p e g 4 编解码分析 m p e g 4 编解码技术的基本思想是基于图像内容的第二代的视频编解码方 案，并结合了基于合成的编码方案。它根据图像中的内容将图像分割成各自不同 的视频对象v o ( v i d e oo b j e c t ) ，在编码的过程中对f j 景对象与后景对象采用不 同的编码策略，编码过程中，对人们所关心的前景对象，尽可能保持对象的细节 及平滑，而对人们不怎么关心的后景对象采用大压缩比的编码策略【3 2 】。 m p e g 4 按照五个层次来组织要编码的图像，从上至下依次为：视频对象序 列v s ( v i d e os e s s i o n ) 、视频对象v o ( v i d e oo b j e c t ) 、视频对象层v o l ( v i d e o o b j e c tl a y e r ) 、视频对象平面组g o v ( g r o u po fv i d e oo b j e c tp l a n e ) 、视频对象 7 嵌入式工业视频监控系统设计与实现 平面v o p ( v i d e oo b j e c tp l a n e ) 。如图2 - 1 所示。 v s 2 v s n v o p i v o p kv o p k + l v o p nv o p i v o p n 图2 - 1 视频对象层次图 f i 9 2 1s t r u c t u r eo fv i d e oo b j e c t 一个比较完整的m p e g 4 场景包含任意2 d 或3 d 的自然的或合成的对象以及 对应的增强层。一个视频对象v o 对应于m p e g 4 场景中的一个特定的物体，而 每个对象层v o l 可以根据应用的需要分层编码，也可无分层编码。视频对象层 分两种类型：视频对象平面组g o v 和视频对象平面v o p 。视频对象平面组在视 频流中提供了许多标记点，这些标记点标记了视频对象平面单独编码的时域位 置，也就提供了对视频数据流的任意访问的标记。视频对象平面是对视频对象的 时间采样。视频对象可以逐个单独编码，或者通过运动补偿进行混合编码。一般 视频对象平面包含了一个视频对象的时间采样的编码视频数据。包含了运动参 数、形状信息和纹理数据。这些部分都是基于宏块来实现编码的。 与m p e g l 和m p e g 2 中输入和进行编码的标准的矩形图像区域不同， m p e g 4 可以使用任意形状的区域。m p e g 4 的编码流程如下：第一步生成v o ( v o f o r m a t i o n ) ，先从原始视频流中分割出v o ，然后由编码控制( c o d i n gc o n t r 0 1 ) 机制为不同的v o 以及各个v o 的三类信息分配码率，然后各个v o 分别进行独 立编码，最后将各个v o 的码流复合成一个位流。编码结构图如图2 2 所示。 3 青岛科技大学研究生学位论文 图2 2m p e g 4 编码结构 f i 9 2 2e n c o d es t r u c t u r eo fm p e g 4 1 形状信息编码 在m p e g 4 编码标准中二进制的形状信息和狄度形状信息可以被看做是一个 视频对象的继承特性。二进制形状信息中最常用的表示是一个视频对象平面边界 大小一致的矩阵。矩阵中元素的取值为0 或l ，取值的选定依赖于像素是否在该 视频对象内。二值形状信息的编码采用基于块的运动补偿技术，可以进行无损或 者有损编码。灰度形状信息使用用0 - 2 5 5 之间的数来表示v o p 的透明度。其中0 表示可以完全透视，2 5 5 表示完全不透视。灰度形状信息的编码主要采用基于块 的运动补偿与d c t 方法，属于有损编码。 2 纹理信息编码 一个视频平面的纹理信息可以被表示为亮度y 和两个色度成份c r 、c b 。在 帧内的情况下，纹理信息直接包含亮度和色度成份，在运动补偿的情况下，纹理 信息表示经过运动补偿后的残差。如图2 3 所示。 b i s t r e a m 图2 3v o p 纹理编码过程 f i 醇一3t e x t u r ee n c o d ep r o c e s so fv o p 纹理编码的对象可以是帧内编码模式( i - v o p ) ，也可以是帧间编码模式 9 嵌入式工业视频临控系统设计与实现 b v o p 或p v o p 运动补偿后的预测误差。编码方法基本上采用基于8 8 像素块 的d c t 方法。 3 运动信息编码 类似于现有的视频编码标准，m p e g 4 采用了运动预测和运动补偿技术来去 除图像信息中的时间冗余成分，这些运动信息编码技术可视为现有标准向任意形 状的v o p 的延伸。v o p 的编码模式有三种，即帧内编码模式( i v o p ) 、帧间预测 编码模式( p v o p ) 以及双向预测编码模式( b v o a ) 。在m p e g 4 编码标准中运动预 测和运动补偿可以基于1 6 x 1 6 宏块，也可以基于8 x 8 像素块。为了适应任意形状 的v o p ，m p e g 4 引入了图像填充技术和多边形匹配技术。图像填充技术利用v o p 内部像素值来外推v o p 外的像素值，以获得运动预测的参考值。对于标准宏块， 则采用传统的基于块的运动估计和补偿技术。 m p e g 4 解码器用于从编码位流中恢复视频对象。视频解码器包括形状、运 动、纹理解码、静态纹理解码、网格解码盒人脸解码等几部分。解码后，将这些 对象发送合成器，从而集成各种视频对象。解码器主要由3 部分组成：形状解码 器、运动解码器和纹理解码器。重建的视频对象平面通过合成并解码的形状、运 动和纹理信息而得。 2 3m p e g 4 编码的实现 x v i d 是在o p e n d i v x 版本基础上，开发的一种新的m p e g 4 编解码软件。它 继承并发展了曾经的o p e n d i v x e n c o r e 2 ，并且极大地提升了性能和效率。x v i d 被认为是目前最快的m p e g 4 编码软件。x v i d 依照g p l 而发布，绝对开放源代 码，这就使得更多的人投入到了x v i d 的研发中。x v i d 是o p e n d i v x 的良好的 延续，是目前m p e g 4 编码器中表现非常出色的一个。与d i v x 相比，它有以下 几个技术优点： 一多种编码模式。x v i d 除了最原始单重估定码流压缩之外，还提供了包括 单重质量模式动态码流压缩和单重量化模式动态码流压缩以及包括外部控制和 内部控制的两种双重动态码流压缩模式。x v i d 是目前p c 上的m p e g 4 编码核心 中可选模式最多的视频编码软件。特别是双重动态码流压缩模式，通过检测画 面运动幅度来以最优化的方式曲线分配画面量化幅度，使充满活性元素的视频影 片可以在占用空间和画面质量之间获得最佳的平衡。而单重量化模式动态码流压 缩可以高速地一次性生成可控画面细节的动态码流视频档案，这就可以在较少的 压缩时间代价之下获得较稳定的画面细节质量，这优点都是单纯的d i v x3 1 l 所 不具有的。 二量化方式和范围控制。量化简单的说就是在编码时通过对时间、空间上 1 0 青岛科技大学研究生学位论文 相邻的画面单元进行同化和模糊细节的程度，是对画面质量最基本的控制因素。 x v i d 提供了标准的m p e g 量化的方式。而且x v i d 还可以在双重运算时，根据 对画面信息的综合分析，而动态的决定某段场景的画面量化方式。另外，x v i d 还提供了强大的量化幅度的范围控制。用户可以选定压缩时允许使用的量化幅度 范围。 三运动侦测和曲线平衡分配。对画面每一帧进行运动侦测，对全片段的运 动侦测结果进行分析，然后重新以曲线平衡分配每一帧的量化幅度，以求做对码 流要求比较高的运动画面可以分配到更多的空间和更高的码流以及更低的量化 幅度来保持画面的细节。而对于静态画面，则减少分配预算。x v i d 提供了多级 运动侦测精度。 四动态关键帧距技术。x v i d 利用动态关键帧距技术实现了空间和画面之间 的最大的平衡。在视频压缩过程中只有关键帧记录了完整的画面信息，p 帧仅仅 记录了当前帧与前一帧的差值。如果关键帧之间的画面变化很大，则会浪费空间 在p 帧上。如果把变化很大的那一帧记录在关键帧里面，后续的帧将不会再有更 大的变化，可以节省p 帧所需的空问。 五外部自定义控制。除了x i v d 内部曲线分配控制方式外，还提供了外部 的丌放接口。允许略过x v i d 本身的编码分析核心，利用第三方提供的外部分析 工具，交还x v i d 做最终的二重运算压缩。这种方式扩展了x v i d 的可用性及用 户控制程度。 2 3m p e g 4 传输技术分析 流媒体是种较为成熟的网络实时传输方式，在多媒体领域中，特别是在基 于m p e g 4 编码标准的多媒体传输领域中得到了极为广泛的应用。流媒体技术是 指在数据网络上按时间的先后次序传输和播放的连续音视频数据流。与传统的播 放方式所不同，流媒体在播放前并不下载整个文件，只将部分内容缓存，使流媒 体数据流边传送边播放i 这样就节省了下载等待时间和存储空间。流媒体数据流 具有三个特点：连续性、实时性、时序性，即其数据流具有严格的前后时序关系。 流式传输技术分顺序流式传输和实时流式传输两种方式。 顺序流式传输方式指的是顺序下载，即用户在下载文件时可观看在线的媒 体，但是在固定的时刻用户只能观看已下载的部分，不能跳到未下载的部分，顺 序流式传输方式不像实时流式传输方式一样在传输期间根据用户连接的速度做 调整。顺序流式传输也经常被称作h t t p 流式传输。顺序流式传输方式比较适合 于高质量的短片，如广告、片头和片尾灯，由于该文件在播放前观看的部分是无 损下载的，所以这种方法可以保证电影播放的最终质量。 嵌入式t 业视频监控系统设计j 实现 实时流式传输方式保证媒体信号带宽与网络连接相配匹，使媒体可被实时观 看。实时流与顺序流式传输不同，需要专用的流媒体服务器和传输协议。实时流 式传输方式总是实时地传送，特别适合于现场事件，并支持随机访问，用户可以 快进或后退以观看前面或者后面的内容。理论上，实时流开始播放后就可以不停 止，不过有可能发生周期性暂停。实时流式传输方式必须匹配连接带宽，这就意 味着在低速度连接时图像质量较差。而且由于出错丢失的信息被忽略掉，网络拥 挤或出现问题时视频质量很差。 目前有三大流派采用流媒体技术的音视频文件。 一是微软的a s f 。它的文件后缀是a s f 和w m v ，与之对应的播放器是微软公 司的m e d i ap l a y e r 。用户可以将图形、声音以及动画数据组合成一个a s f 格式的 文件，也可以将其他格式的视频、音频转换为a s f 格式的文件，用户还可以通 过声卡和视频捕获卡等外设的数据保存为a s f 格式。 二是r e a l n e t w o r k s 公司的r e a l m e d i a ，包括r e a l v i d e o 、r e a l a u d i o 及r e a l f l a s h 三类文件，其中r e a l a u d i o 用来传输音频数据，r e a l v i d e o 用来传输视频数据， r e a l f l a s h 则是一种高压缩比的动画格式，后缀是r r n ，文件对应的播放器是 r e a l p l a y e r 。 三是苹果公司的q u i c k t i m e 。这类文件扩展名通常是m o v ，它所对应的播放 器是“q u i c k t i m e 。 此外，m p e g 、a v i 、d v i 、s w f 等都是适用于流媒体技术 的文件格式。 流媒体的播放方式分单播方式，组播方式，点播和广播方式四种，并可组合 为点播单播、广播单播及广播组播等多种播放方式。单播方式是指在客户端与媒 体服务器之间建立一个单独的数据通道，从一台服务器送出的每个数据包只能传 送给一个客户机。这种方式服务器负担沉重，响应时间长。组播方式则是通过构 建一种具有组播能力的网络，由路由器一次将数据包复制到多个通道上的传送方 式，组播方式媒体服务器发送信息量比较少，网路利用率比较高，成本低。点播 连接方式是客户端与服务器之间的主动的连接。在点播连接中，用户通过选择内 容项目来初始化客户端连接。 目前，常用的流媒体传输协议有h t t p 协议，r t p l r t c p 实时传输协议，m m s 微软流媒体服务协议和r t s p 实时媒体的点播协议。其中r t p r t c p 协议是 i n t e m e t 上针对多媒体数据流的一种传输协议。r t p r t c p 协议提供流量控制和 拥塞控制服务。在r t p 会话期间，各参与者周期性地传送r t c p 数据包。r t c p 数据包中含有已发送的数据包的数量和丢失的数据包的数量等统计资料，服务器 可以利用这些信息动态地改变传输速率。r t p 和r t c p 相配合使用，用户可根据 相关信息实现实时、流畅的播放。因而r t p r t c p 特别适合传送网上的实时数 1 2 青岛科技大学研究生学位论文 据，应用十分广泛1 3 3 郴j 。 r t p 通常被定义为在一对一或者一对多的传输情况下工作，为实现数据流同 步提供相关的时间信息，其本身并不能提供可靠的传送机制，它依靠实时传送控 制协议为其提供流量控制和拥塞控制。r t c p 数据包中含有已发送的数据包的数 量和丢失数据包的数量等信息。在r t p 会话期间，各参与者周期性的传送r t c p 数据包，服务器利用这些信息动态地改变传输速率，以及有效载荷类型，从而利 用有效的反馈使得传输效率最佳化。r t p 协议数据包的包头部分含有数据包的载 荷类型、序列号、时间戳和同步标识符等信息。利用r t p 包头的信息，采取适当 缓存的方式，可以让视频流解码播放与回放。r t c p 数据包对媒体数据不进行封 装，它只封装发送端或者接收端的统计信息。 r t p 数据协议负责对流媒体数据进行封包并实现媒体流的实时传输，每一个 r t p 数据报都由头部和负载两个部分组成，其中头部前1 2 个字节的含义是固定 的，而负载则可以是音频或者视频数据。r t p 数据报的头部格式如表2 1 所示。 表2 1r t p 协议的报文结构 ol23 o12 3456 7 89 o12345 6 789012 34 5 6 78 9 01 v = 2dxc cmp t序列号 t i m e s t a m p 时间戳 s s r c 标识 c s r c 标识 p a y l o a d 载荷数据 其中v