计算机毕业论文-基于3g网络的嵌入式高速公路h.264视频监控服务器的设计与实现

分类号密级硕士研究生学位论文基于3G网络的嵌入式高速公路H264视频监控服务器的设计与实现专业计算机应用技术研究方向计算机检测与控制研究生XXX指导教师XXX教授论文起止日期2009年4月至2010年4月分类号密级EMBEDDED3GNETWORKBASEDONH264VIDEOSURVEILLANCESERVERHIGHWAYDESIGNANDIMPLEMENTATIONMAJORCOMPUTERAPPLIEDTECHNOLOGYDIRECTIONOFSTUDYCOMPUTERTESTANDCONTROLGRADUATESTUDENTSUPERVISORPROFMAICHENGGUOSCHOOLOFCOMPUTERSCIENCEYANGTZEUNIVERSITYAPRIL,2009TOAPRIL,20摘要随着国民经济的迅速发展，交通量的日益增多，在我国高速公路的某些区段必然会出现常发性和偶发性的交通拥挤。高速公路临近系统简介高速公路视频监控系统一般分为收费监控和道路监控两部分。收费监控系统主要是对收费站的车道、收费广场、收费亭的收费情况，对收费车道通过的车辆类型、收费员的操作过程以及收费过程中的突发事件和特殊事件进行观察和记录，实施有效的监督。道路监控系统主要是对高速公路干线、互通立交、隧道等高速公路重点路段进行监视，掌握高速公路交通状况，及时发现交通阻塞路段、违章车辆，及时给予引导，保证高速公路的安全通畅。目前高速公路中对视频信号的监控和管理自下而上可分为以下几层（1）收费站各收费站需要对本地的视频信号进行监控。各收费站所辖的摄像机信号全部引入本地视频监控系统，收费站对本地所有图像进行监控管理。（2）监控分中心一条高速公路通常设置几个路段监控分中心，分别对某一路段进行监控和管理。各收费站图像根据路段监控分中心要求选择几路上传，路段监控分中心对路段中各收费站上传的图像进行统一监控和管理。（3）监控中心（有些不设此级）多条高速公路的统一管理通常根据地域划分为若干个片区来进行。一个片区对某一区域内相临或相连的几条高速公路进行统一的监控和管理。这几条高速公路的监控分中心根据片区监控中心的要求上传图像，片区监控中心对各路段监控分中心上传的图像进行统一监控和管理。（4）省监控中心各省高速公路管理局需要对省内所有的高速公路进行统一监控、管理和调度。各片区监控中心将自己所辖区域内的视频信号选择上传到省中心，由省中心统一监控和管理。省中心、监控中心、监控分中心之间采用联网分级控制。控制信号采用逐级转发的形式转发到需要控制的设备。作为高速公路智能交通系统应用的一个主要方面，交通监控智能化是发展的大趋势。同时，随着IP智能监控技术的迅速发展，计算机和图像处理技术的革新，先进成熟的IP智能监控系统将成为公交系统监控的主流。特别是近年来基于3G无线通信技术的迅速发展，无线远程视频监控系统以其移动装备监控网络化、数字化以及移动性等特点，集合数字采集、影像压缩、存储、数据处理、报警信号的采集、无线数据远程网络传输等功能，将前端的模拟信号处理成高清晰的实时数字图像通过3G无线发布到网络管理中心，实现异地远程移动视频监控。荆州市作为湖北省重要的交通枢纽城市，荆襄、荆岳等一批高速公路先后建成通车，对这些高速公路更好的管理便提上了日程。作为一名交通系统的职工，本人有幸参与到了该项目课题的研究。通过参阅大量课题相关资料、借鉴目前成熟的技术和算法，于是，便有了本论文的出现。本课题所设计的视频监控服务器由前端视频采集模块、DM6446为核心的嵌入式DSP、3G无线模块组成。前端视频采集模块采集的实时图像信息经过数模转换，将信号传入DM6446DSP处理芯片，DSP将前端采集的实时信号经过植入的H264算法进行视频的压缩并封包，最后将已经封包的压缩编码通过3G网络将经过处理的图像发送至客户端。在设计阶段，首先介绍了国内外相关技术的现状，并介绍了视频压缩关键技术，然后进行了H264算法选择及讨论，在目前三大开源H264编解码算法进行了适当改进，以期达到误码率小，图像清晰的目的；第二步，进行了芯片选型与开发平台选择，并对硬件平台做了适当的内存管理改进，以期达到快速运算的目的；第三步，进行了基于DSP平台的H264编码算法的讨论；第四步，介绍了适应3G的封包技术，并介绍了适应3G平台的封包算法；第五步，将改进的编码算法与数据封包算法移植到芯片中；第六步，进行了嵌入式视频监控系统的软件设计。采用基于H264压缩编码技术和3G技术实现网络视频监控系统，在稳定性、功能、成本与扩展性等方面都有着突出的优势，具有重要的学术意义与实用意义。关键词DM6446，H264，3ABSTRACTWITHTHERAPIDDEVELOPMENTOFTHENATIONALECONOMY,THEINCREASINGTRAFFICINCHINAISBOUNDTOCERTAINSECTIONSOFHIGHWAYOFTENFATANDSPORADICCONGESTIONAPPLICATIONOFINTELLIGENTTRANSPORTATIONSYSTEMASAHIGHWAYASAMAINASPECTOFINTELLIGENTTRAFFICCONTROLISTHETRENDOFDEVELOPMENTMEANWHILE,WITHTHEIPTECHNOLOGY,THERAPIDDEVELOPMENTOFINTELLIGENTCONTROL,COMPUTERANDIMAGEPROCESSINGTECHNOLOGY,INNOVATION,ADVANCEDANDMATUREIPINTELLIGENTMONITORINGSYSTEMWILLBECOMETHEMAINSTREAMPUBLICTRANSPORTSYSTEMMONITORINGESPECIALLYINRECENTYEARSBASEDON3GWIRELESSCOMMUNICATIONSTECHNOLOGYISDEVELOPINGRAPIDLY,WIRELESSREMOTEVIDEOMONITORINGSYSTEMFORITSMOBILENETWORKEQUIPMENTMONITORING,DIGITAL,ANDMOBILITYCHARACTERISTICS,ACOLLECTIONOFDIGITALCAPTURE,VIDEOCOMPRESSION,STORAGE,DATAPROCESSING,ALARMSIGNALACQUISITION,LONGRANGEWIRELESSDATANETWORKTRANSMISSIONANDOTHERFUNCTIONS,THEFRONTENDANALOGSIGNALPROCESSINGINTOAHIGHRESOLUTIONREALTIMEDIGITALIMAGERELEASEDBY3GWIRELESSNETWORKMANAGEMENTCENTERTOREALIZETHEREMOTEREMOTEMOBILEVIDEOSURVEILLANCEJINGZHOUCITY,HUBEIPROVINCEASANIMPORTANTTRANSPORTHUB,JINGXIANG,JINGYUHASANUMBEROFHIGHWAYOPENEDTOTRAFFIC,BETTERMANAGEMENTOFTHESEHIGHWAYSWILLBEPUTONTHEAGENDAASATRANSPORTSYSTEMWORKERS,IHADTHEHONORTOPARTICIPATEINRESEARCHPROJECTSINTHEPROJECTSEEALOTOFRELEVANTINFORMATIONBYTOPIC,REFERENCETHECURRENTMATURETECHNOLOGYANDALGORITHMS,SO,THEREWASTHEEMERGENCEOFTHISTHESISTHISSUBJECTISDESIGNEDVIDEOSURVEILLANCESERVERBYTHEDM6446EMBEDDEDIMAGESERVERASTHECORE,3GWIRELESSMODULEEMBEDDEDIMAGESERVER,REALTIMEACQUISITIONIMAGESCOMPRESSEDUSINGH264ENCODINGALGORITHM,ANDTHE3GNETWORKWILLBEPROCESSEDBYTHEIMAGESENTTOTHECLIENTINTHEDESIGNPHASE,THEFIRSTCHOICEFORTHEH264ALGORITHMANDDISCUSSIONINTHECURRENTTHREEMAJOROPENSOURCEH264CODECALGORITHMWASIMPROVEDINORDERTOACHIEVETHEERRORRATEISSMALL,THEIMAGECLEARPURPOSETHESECONDSTEP,CARRIEDOUTCHIPSELECTIONANDDEVELOPMENTPLATFORMSELECTED,THESYSTEMUSESAHIGHSPEEDDUALCORETIDM6446SOCCHIP,ANDWILLMIGRATETOCHIPH264ALGORITHM,3GTRANSMISSIONMODULEUSINGTHEPOPULAR3GWIRELESSNETWORKCARDSTOACHIEVEHETHIRDSTEPWASEMBEDDEDVIDEOSURVEILLANCESYSTEMSOFTWAREDESIGNCODINGBASEDONH264COMPRESSIONTECHNOLOGYAND3GTECHNOLOGYNETWORKVIDEOMONITORINGSYSTEM,STABILITY,FUNCTION,COSTANDSCALABILITYSOALLHAVEOUTSTANDINGADVANTAGES,ANIMPORTANTACADEMICSIGNIFICANCEANDPRACTICALSIGNIFICANCEKEYWORDSDM6446，H264，3G目录第1章绪论411研究背景及意义412国内外研究现状513本课题研究的内容与技术特色点914论文的组织结构915本章小结10第2章H264算法及其在3G中的应用1121H264算法概述1122H264编码技术在3G中的应用3023本章小结34第3章基于3G的H264的封包方法3531传统流媒体系统简介3532流媒体传输协议3633H264的RTP封装3934本章小结44第4章嵌入式视频监控服务器的硬件设计4541嵌入式监控服务器系统结构4542系统硬件设计46第5章软件平台介绍及改进算法5051软件平台介绍5052DAVINCI的内存管理及改进算法5453本章小结59第6章系统软件设计6061嵌入式操作系统的设计6062H264算法的API函数实现6463视频图像传输模块的实现6664本章小结67第7章总结与展望68致谢70参考文献71个人简介77第1章绪论11研究背景及意义从上世纪九十年代开始，中国进入了公路建设快速发展的时期，尤其是1998年中国实施积极的财政政策以来，中国公路建设投资数量之大、开工项目之多举世瞩目。从1990年到2003年的14年间，中国公路建设累计投资近2万亿元，其中仅2003年就达3715亿元，创历史新高。2004年1至9月，中国公路建设完成投资比去年同期又增长了266。到2003年底，中国公路通车总里程达181万公里，居世界第三位，其中44是最近14年内修通的。截止到2004年已突破3万公里，高速公路总里程位居世界第二。“十五”全国共新增公路里程25万公里，其中高速公路247万公里，超过了2000年以前高速公路建设的总和。交通部有关负责人说，针对公路交通事业的长远发展需要，交通部提出了81万公里国家重点公路建设规划，计划到2020年完成，并与目前的国道主干线共同构成国家骨架公路网。届时，中国高速公路将达到7万公里【51】。高速公路是一个国家现代化水平的重要标志之一，它与一般公路相比，具有线型好、设计标准高、交通流量大、行车速度快等特点，如不采用先进的管理措施，在交通量大、气候恶劣的情况下，极易发生交通事故和交通阻塞。为此，在一些车流量非常大的高速公路上部署全程的监控系统就是必不可少了。高速公路监控系统也从无到有、从小到大、从模仿国外到完全自行设计并制定适合我国的相关标准，也取得了相当大的成绩，但是，与国外相比我国高速公路监控技术水平处于初级阶段。近几年，随着嵌入式计算机技术、自动化控制技术和3G通信技术的发展，高速公路监控系统的技术结构也随之发生变化，本课题正是在这样的背景下提出的。高速公路监控系统它主要分为收费站监控、隧道特大桥梁监控和路面监控三大组成部分。对于收费站监控，仍采用原有的基于有线的监控方案，而对于隧道特大桥梁监控和路面监控，由于监控点分布在较广阔的范围内，并且与监控中心的距离较远，利用传统的有线连接方式，线路铺设成本高昂，而且施工周期长，或者因为物理因素难以架设线缆，如遇到河流山脉等障碍时，本监控方案可很好地解决上述问题。采用本方案无需铺设网络电缆，可迅速方便地在各种需要的地方布署数字摄像设备，建立新的视频监控系统或对现有的视频监控系统进行扩展，具有很强的灵活性和可扩充性。利用3G通信技术，可以将多个被监测点与中央控制中心连接起来，且搭建迅速，可以在最短的时间内迅速建立起无线链路。在我国，随着3G移动通信系统走向实用，高至2MHZ的带宽将为无线视频监控提供更加强有力的支持，此时视频的质量将会有极大的改善。作为目前最新的视频编码技术H264，在视频监控方面有着非常大的前景。H264标准1采用了高精度、多模式预测技术用来提高压缩比以降低码流。H264标准针对网络传输的需要设计了视频编码层VCL和网络提取层NAL结构，网络抽象层是提供“网络友好”的界面，从而使视频编码层能够在各种系统中得到有效的应用。H264标准针对网络传输的需要设计了差错消除的工具便于压缩视频在误码、丢包多发环境中传输2,3，从而保证了视频传输的有效性。本课题主要采用了在现有H264算法的基础上做了适当改进的算法，将其应用于TIDM6446芯片，通过3G无线网卡实现了实时H264视频通过3G网络的传输。12国内外研究现状121视频监控系统的发展视频监控系统的发展大致可划分为三个阶段【52】20世纪90年代初及以前，主要是以模拟设备为主的闭路电视系统，称为第一代视频监控系统。其采用模拟视频线将来自摄像机的视频连接到监视器上，视频矩阵主机进行切换和控制。模拟视频监控系统由于模拟视频信号的传输对距离十分敏感，通常只适合于小范围的区域监控，而且无法进行联网，只能采取点对点的方式，使得布线工程量极大，局限性十分明显【53】。20世纪90年代中期，利用计算机的高速数据处理能力进行视频的采集和处理，较大地提高了图像质量，增强了视频监控的功能。这种基于多媒体计算机的系统称为第二代视频监控系统，即模拟/数字混合型视频监控系统。模拟/数字混合型视频监控系统在实际工程中有着广泛应用，但由于系统中信息流的形态仍为模拟视频信号，系统的网络结构主要是一种单功能、单向、集总方式的信息采集网络，要求介质专用，因此系统的扩展能力较差。20世纪90年代末至今，网络带宽、计算机处理能力和存储容量迅速提高，视频信息处理技术快速发展，视频监控进入了全数字化的网络时代，称为第三代视频监控系统。同时，嵌入式技术在硬件和软件方面都出现了多次飞跃，能够满足更加复杂和灵活的应用需求。利用嵌入式技术、视频压缩编码技术和网络传输控制技术为核心实现网络视频监控，在稳定性、实时性、处理速度、功能、价格、扩展性等方面都有着突出的优势。目前在国内外市场上，主要推出的是数字控制的模拟视频监控和数字视频监控两类产品。前者技术发展己经非常成熟且性能稳定，而后者正迅速崛起，但仍需进一步完善和发展。视频监控系统正处在数控模拟系统与数字系统混合应用并逐渐向全数字系统过渡的阶段【54】。122图像压缩编码技术的研究现状国外对图像压缩编码技术的研究比较成熟，ITUT（国际电信联盟远程通信标准化组）下属的视频编码专家组VCEG（VIDEOCODINGEXPERTSGROUP主要制定了H26X系列标准，包括H2614、H2635、H263、H263等。而ISO/IEC下属的活动图像专家组MPEGMOTIONPICTUREEXPERTSGROUP则主要制定了MPEGX标准，如MPEG1/2/4等。MPEG16制定于1992年，是MPEG第一阶段的成果。它规定视频信息与伴音信息经压缩之后的数据速率上限为15MBIT/S，从而可以在CDROM、可写光盘等介质上进行存储，也可以在局域网、ISDN上进行视频与伴音信息的传输。该标准采用了帧内编码和帧间编码相互结合的编码方法，支持I,P,B,DC四种帧类型，其编码速率最高可达45MBITS/S，但随着速率的提高，其解码后的图像质量有所降低。MPEG1技术最成功的应用为VCD，也被用于数字电话网络上的视频传输。MPEG27制定于1994年，是在MPEG1的基础上进一步发展成的音视频编码标准，主要目标是针对广播级的高质量音视频以及更高的传输率。MPEG2能够很好的处理隔行扫描的数字视频源，支持多输入视频序列的采样格式，并支持几种可选择的运动预测模式。其所能提供的传输率在310MB/S之间，在NTSC制式下的分辨率可达720480。MPEG2技术就是实现DVD的标准技术，还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。为了适应多媒体通信的快速发展，ISO于1994年开始制定MPEG4标准8，MPEG4标准主要由MPEG4系统、MPEG4音频和MPEG4视频等基本部分和扩充的部分组成。MPEG4视频编码的主要目标在于提供一种通用的编码标准，以适应不同的传输带宽、不同的图像尺寸和分辨率、不同的图像质量等，进而为用户提供不同的服务。与传统的基于像素的视频压缩标准不同，MPEG4采用基于对象的视频编码方法，它不仅可以实现对视频图像数据的高效压缩，还可以提供基于内容的交互功能。此外，为了使压缩后的码流具有对于信道传输的鲁棒性，MPEG4还提供了用于误码检测和误码恢复的一系列工具，这样采用MPEG4标准压缩后的视频数据可以用于带宽受限、易发生误码的网络环境中。H261是ITUT提出的作为H320终端使用的视频编解码建议，制定于1992年，常称为PX64K标准，其中P是取值为1到30的可变参数。P1或2时支持四分之一中间格式QCIF的帧率较低的视频电话传输；P6时支持通用中间格式CIF的帧率较高的电视会议数据传输；PX64K视频压缩算法也是一种混合编码方案，即基于DCT的变换编码和带有运动预测差分脉冲编码调制DPCM的预测编码方法的混合。H261主要应用于ISDN网上的视频会议系统，借助于电信行业提供的PX64K带宽的通信线路，实现异地多方参加的电视会议。目前国际、国内几乎所有的电信、政府、企业等电视会议系统采用的压缩技术均源自H261标准。H263是ITUT提出的作为H324终端使用的视频编解码建议，制定于1996年。它是基于运动补偿的DPCM的混合编码，在运动搜索的基础上进行运动补偿，然后运用DCT变换和Z“Z“字形扫描游程编码，从而得到输出码流。H263在H261建议的基础上，将运动矢量的搜索增加了半像素点搜索，同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和PB帧编码等四个高级选项，从而，达到了进一步降低码速率和提高编码质量的目的。H263标准能够满足现有信道所需要的压缩性能，并对信道误码提供一定的鲁棒性，从而成为新的低码率视频编码的主流标准。H263已广泛应用于可视电话、视频邮件、银行、企业及智能化住宅的远程视频监控等领域。H264是由ITUTVCEG和ISO/IECMPEG联合组成的JVT开发的最新一代视频压缩标准，其基本草案在2002年10月形成，最后的批准工作于2003年3月完成。H264标准中有多个闪光之处，如统一的VLC符号编码、高精度且多模式的位移估计、基于4X4块的整数变换、分层的编码语法等。这些措施使得H264算法具有很高的编码效率，在相同的重建图像质量下，能够比H263节约50左右的码率。同时，H264的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。随着H264面目的逐渐清晰，许多系统厂商和芯片供应商正在加速开发能够与当前系统和体系结构相兼容的低成本H264产品。H264视频压缩编码算法是本课题研究的重点，本文随后将对其进行详细的分析。国内对图像压缩编码技术的研究发展迅速，AVS3由数字音视频编解码技术标准工作组开发是中国自主制定的音视频编码技术标准。AVS工作组成立于2002年6月，当年8月开始了第一次的工作会议。经过7次AVS正式工作会议和3次视频组附加会议，经历一年半的时间，审议了182个提案，先后采纳了41项提案，2003年12月19日AVS视频部分终于定稿。AVS视频当中具有特征性的核心技术包括8X8整数变换、量化、帧内预测、1/4精度像素插值、特殊的帧间预测运动补偿、二维墒编码、去块效应滤波等。AVS的主要特点3是应用目标明确，技术有针对性。因此在高分辨率应用中，其压缩效率比现在在数字电视、光存储媒体中常用的MPEG2视频提高一个层次。在压缩效率相当的前提下，又较MPEG4MAINPROFILE的实现复杂度大为降低。目前，AVS视频压缩编码技术可实现标准清晰度CCIR601或相当清晰度、低清晰度CIF,SIF等不同格式视频的压缩。13本课题研究的内容与技术特色点本课题主要的内容为根据目前图像压缩编码技术的发展现状，深入了解H264视频编解码标准，采用了高效的视频压缩算法。熟练运用基于SOC的DSP的嵌入式系统设计方法，设计以TIDM6446处理器为核心的系统，并结合相关外围设备，实现具有视频采集、压缩编码与3G网络服务器功能的嵌入式视频监控服务器。主要包括1、根据当前监控系统的发展状况与课题的目标要求，并充分考虑本课题所选用的核心芯片与视频编解码算法的特点，进行视频监控系统的整体规划。2、以TIDM6446处理器为核心，结合所需的外设接口与功能模块，完成其定制与连接。3、了解H264标准，尽可能地查阅中英文资料，针对硬件平台和网络视频监控的特性，采用高效且易于实现的图像压缩编解码算法。除系统规划、硬件设计等大量工作外，本文拥有较为突出的技术特色点1、采用DM6446架构的SOC来构建嵌入式图像服务器的核心部分从而实现协同工作与并行处理，较大程度地提高了系统的工作效率。2、采用了适合于3G信道传输的H264编码算法，提高了网络带宽的使用率。14论文的组织结构本文的组织结构为第一章介绍视频监控系统的发展、图像压缩编码技术以及3G标准的国内外研究现状，概述本文的内容与特色点。第二章描述H264的算法及提出H264编码技术在3G中的应用。第三章介绍了基于3G的H264的封包方法。第四章进行核心芯片的选型与硬件设计。第五章软件平台介绍及针对本系统所作的改进算法的介绍。第六章进行了基于DM6446芯片的H264编码器的设计。第七章进行了H264算法的DSP实现。第八章系统软件设计。第九章总结全文所做的工作，指出系统的优势与不足，对进一步的改进与优化进行展望。15本章小结本章阐述了课题的研究背景和意义，介绍了国际上现有的一些视频编码标准及其特点，视频压缩编码原理，三大3G标准比较及3G上的应用与发展趋势。最后提出了论文的主要研究内容及结构安排。第2章H264算法及其在3G中的应用21H264算法概述H264是由ITUTVCEG和ISO/IECMPEG联合组成的JVT开发的最新一代视频压缩标准，被命名为AVCADVANCEDVIDEOCODING，也称为ITUTH264建议和MPEG4第10部分标准，于2003年3月正式被ITUT讨论通过并在国际上颁布。H264不仅具有优异的压缩性能，而且具有良好的网络亲和性。H264/AV在设计上将整个编码系统分成视频编码层VCLVIDEOCODINGLAYER和网络提取层NALNETWORKABSTRACTIONLAYER两个具有不同概念的层次。视频编码层VCL主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、健壮性、可分级等特性的视频编码码流，是整个H264视频编码标准的核心部分。网络提取层NAL主要负责将视频编码层VCL产生的视频编码数据正确地映射到不同的传输网络中去。当VCL产生的编码视频比特流将在某种特定网络中传输时，NAL针对这种网络及其传输协议的特性，对VCL的编码码流进行适合该网络及其传输协议的封装。这样H264就可以在面向不同的传输网络时，灵活的提供不同的封装方式，增强了网络的适应性。对于系统中处理与传输的图像数据，可将其从宏观到微观分为视频序列、图像帧、片SLICE、宏块MACROBLOCK、子块SUBBLOCK五个层次。视频序列由若干个图像帧组成，H264可将图像帧划分为独立解码的片，有利于抑制错误的蔓延，提高了解码的容错能力。片必须进一步划分为16X16像素的宏块，每个片所包含的宏块个数是不定的。宏块还可根据需要划分为更小的子块。为提高压缩效率，去除图像序列的时间冗余度，同时满足多媒体等应用所必须的随机存取要求，H264把图像帧分成I帧、P帧和B帧。I帧为帧内编码帧，编码时采用帧内预测编码和变换编码。P帧为预测编码帧，采用前向运动补偿和预测残差的变换编码，由前面已解码的参考帧进行预测。B帧为双向预测编码帧，采用双向运动补偿预测和预测残差变换编码。此外，新标准的高级版本中提出了SP和SI帧的概念，用来实现在几个编码码流中任意切换。H264的核心算法包括帧内预测、高级运动估计与补偿、4X4整数变换与量化、熵编码、环路滤波等。其中熵编码有两种方案一种是基于EXPGOLOMB码的一致变长编码UVLC和基于上下文的变长编码CAVLC相结合的变长编码VLC，编码主要采用查表的方式，其中UVLC的表是固定的，而CAVLC在编码过程中会跟据周围宏块以及在之前编码的数据信息，选择不同的表，具有上下文自适应功能。另一种是基于上下文的自适应算术二进制编码CABAC，为基于概率模型的统计估算。211H264编码器结构H264标准与以往的H26L、H263等标准一样，都是采用DCT变换编码加DPCM的差分编码方式。即混合编码结构。其核心思想是利用帧间预测编码消除图像序列中的时域冗余，利用变换编码消除频域冗余。图21为H264编码器的结构框图11。图21H264编码器结构框图FIGURE21H264ENCODERBLOCKDIAGRAM在H264中，也是把当前编码图像划分为多个宏块，再对每个宏块进行帧间运动估计或使用帧内预测技术，所得到的残差图像经过变换、量化、熵编码等处理后得到最终码流。尽管H264编码基本结构与H261、H263是类似的，但它在很多环节做了改进，主要体现【12】在1高精度估计。在H264中，采用的是1/4像素精度的运动矢量模式。2多宏块划分模式估计。一个宏块MB可划分成7种不同模式的尺寸。3多参数帧估计。最高允许5个参考帧。4小尺寸44的整数变换。不仅减少了图像变换过程中的计算量，还减少了运动物体边缘的衔接误差。5更精确的帧内预测。每个44块中的每个像素都可用17个最接近先前已编码的像素的不同加权和来进行帧内预测。6丰富的熵编码方式。主要包括基于内容的自适应二进制算术编码CABAC和基于上下文的自适应变长编码CAVLC。212H264的档次和级H264像以前所有其他视频标准那样，提供了不同的档次PROFILES和级LEVELS。不同的PROFILE提供了不同的算法要求和限制，而对一个指定的PROFILE，又分为不同的LEVEL。LEVEL的选择一般都是根据计算机的运算能力和内存容量决定的。不同的LEVEL支持不同的分辨率和数据码率。H264支持3种档次,其档次关系如图22【11】所示。每个档次支持一组特定的编码功能，并支持一类特定的应用。图22H264的档次关系图FIGURE22H264GRADEDIAGRAM1、基本档次BASELINEPROFILE主要用于可视电话、会议电视、无线通信等实时视频通信。其解码器支持以下特性1I片和P片类型；2去块滤波；3L/4像素精度运动估计；4CAVLC熵编码模式；542O的色度块采样率；6支持冗余片REDUNDANTSLICE；7支持任意片顺序ARBITRARYSLICEORDER编码；8支持ZIGZAG扫描方式9支持逐行扫描PROGRESSIVE；10支持灵活块顺序FLEXIBLEMACROBLOCKORDER编码方案；11不支持宏块帧场自适应编码。2、主要档次MAINPROFILE主要用于数字广播电视与数字视频存储。其解码器支持以下特性1支持B片；2CABAC嫡编码3自适应双向预测；4支持场编码；5支持帧场自适应编码；6支持逐行扫描PROGRESSIVE和隔行扫描INTERLACED；7不支持片组与任意片次序编码；8不支持冗余片。3、扩展档次EXTENDEDPROFILE主要应用于流媒体中，如视频点播。其解码器支持的特性如下1B片类型；2SP和S1类型；3数据分层片；4自适应双向编码WEIGHTEDPREDICTION；5BASELINE中支持的所有特性；6支持场编码7支持帧场自适应编码；8不支持隔行扫描和CABAC。最新的H264/AVC还增加了一个高端档次HIGHPROFILE，它主要是在MAINPROFILE的基础上新增了8X8帧内预测、自定义量化CUSTOMQUANT及无损视频编码LOSSLESSVIDEOCODING等。213H264的核心技术1、H264的分层设计H264在概念上可以分为两层视频编码层VCL，VIDEOCODINGLAYER和网络提取层NAL，NETWORKABSTRACTIONLAYER，如图23【1】所示。其中VCL负责高效的视频内容表示，NAL负责以网络所要求的恰当的方式对数据进行打包和传送。这样，高编码效率和网络友好性的任务分别由VCL和NAL来完成。图23H264分层结构FIGURE23H264HIERARCHICALSTRUCTUREVCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在VCL数据传输或存储之前，这些编码的VCL数据，先被映射或封装进NAL单元中。NAL包括自己的头部信息、段结构信息和实际载荷信息。每个NAL单元包括一个原始字节序列负荷RBSP、一组对应于视频编码数据的NAL头信息。NAL单元序列的机构见图24【11】图24NAL单元序列FIGURE24NALUNITSEQUENCE2、高精度的运动估计在H263中采用了半像素估计，在H264中则进一步采用1/4像素甚至L/8像素的运动估计。即真正的运动矢量的位移可能是以L/4甚至1/8像素为基本单位的。显然，运动矢量位移的精度越高，则帧间剩余误差越小，传输码率越低，即压缩比越高12。在H264中采用了6阶FIR滤波器的内插获得1/2像素位置的值。当1/2像素值获得后，L/4像素值可通过线性内插获得，对于4L1的视频格式，亮度信号的L/4像素精度对应于色度部分的1/8像素的运动矢量，因此需要对色度信号进行1/8像素的内插运算。理论上，如果将运动补偿的精度增加一倍例如从整像素精度提高到1/2像素精度，可有O5BIT/SAMPLE的编码增益，但实际验证发现在运动矢量精度超过1/8像素后，系统基本上就没有明显增益了，因此，在H264中，只采用了1/4像素精度的运动矢量模式，而不是采用1/8像素的精度。3、灵活的运动补偿每个宏块16X16像素可以4种方式分割一个16X16，两个16X8，两个8X16，四个8X8。其运动补偿也相应有四种。而8X8模式的每个子宏块还可以四种方式分割一个8X8，两个4X8或两个8X4及4个4X4。详见图2513所示。这些分割和子宏块大大提高了各宏块之间的关联性。这种分割下的运动补偿则称为树状结构运动补偿11。图25H264中的宏块及子宏块划分FIGURE25H264INTHEMACROBLOCKANDSUBMACROBLOCKPARTITION每个分割或子宏块都有一个独立的运动补偿。每个MV必须被编码、传输，分割的选择也需编码到压缩比特流中。对大的分割尺寸而言，MV选择和分割类型只需少量的比特，但运动补偿残差在多细节区域能量将非常高。小尺寸分割运动补偿残差能量低，但需要较多的比特表征MV和分割选择。分割尺寸的选择影响了压缩性能。整体而言，大的分割尺寸适合平坦区域，而小尺寸适合多细节区域。宏块的色度成分CR和CB则为相应亮度的一半水平和垂直各一半。色度块采用和亮度块同样的分割模式，只是尺寸减半水平和垂直方向都减半。4、帧内预测在视频编码中，通常的方法是把整幅图像分为若干宏块，然后对每一个宏块进行编码。在编码时采用INTRA或INTER两种模式。在INTRA模式中通常直接对宏块进行DCT变换，对变换系数进行熵编码。这样做在一定程度上消除了帧内的空间冗余度，但是由于DCT只是利用了宏块内部像素之间的相关性，而没有考虑相邻宏块问的相关性。H264引入了INTRA预测的方法，利用相邻宏块的相关性对待编码的宏块进行预测，对预测残差进行变换编码，以消除空间冗余。以前的标准是在变换域中进行预测，而H264是直接在空间域中进行预测【14】。在H264中，帧内亮度块预测分为L6XL6的预测和4X4的预测。其中亮度4X4块有9种预测模式，如图26【15】所示。图264X4亮度块的9种预测模式FIGURE264X4LUMINANCEOF9PREDICTIONMODEL4X4亮度块的预测模式描述详见表21【11】。表214X4亮度块预测模式描述TABLE214X4LUMINANCEPREDICTIONMODELSDESCRIBED16XL6的亮度块，有4种预测模式，如图27【15】所示。图2716X16亮度块的4种预测模式FIGURE2716X16LUMINANCEBLOCKOFFOURKINDSOFPREDICTIONMODE表2216X16块的预测模式描述TABLE2216X16BLOCKPREDICTIONMODELDESCRIPTION16X16亮度块的预测模式描述详见表22【11】。色度块的预测是固定的8X8的，其预测与16XL6类似，也有4种预测模式，只是模式编号不同。其中DC模式O，水平模式1，垂直模式2，平面模式3。5、整数DCT变换及量化H264标准中使用44的整数DCT变换作为残差宏块的基本变换，这种变换的对象是经过运动补偿预测或者帧内预测后的包含残差数据的44块。这类变换是基于DCT变换，但又不同于DCT。H264中采用的变换是整数操作而不是实数运算，便于使用简单的定点运算方式。变换的单位是44块，而不是以往常用的88块。由于用于变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量比较小，而且在运动物体边缘处的衔接误差也大为减小。图28DCT变换中宏块的变换块及扫描顺序FIGURE28DCTTRANSFORMBLOCKTOTHEBLOCKSINTHEMACROANDSCANNINGORDER如图2816所示，H264中使用了三种变换方法171宏块中的每个44亮度块以及44色度块的DCT变换，变换矩阵H1如公式21。2对宏块中的44亮度直流系数的HADAMARD变换，其变换矩阵H2如公式22。3对宏块中22色度直流系数的HADAMARD变换。其变换矩阵H3如公式23。21121211H2211112H2313H在对块进行了DCT变换以后，由于图像的信息主要集中在低频部分，高频分量很小。这时候，就需要对这些变换后的系数进行量化。量化主要就是将每个图像样点编码映射成较小的数值。H264的量化器原理如下24QSTEPYROUNDIJIJZ其中，YIJ是待量化的系数，ZIJ是输出的量化系数，QSTEP是量化步长，ROUND（）是取整函数。QSTEP的取值与量化参数（QP）有关，QP的范围是051，它与量化步长的对应关系如表23所示，QP值每增加1，QSTEP变化幅度增加125，QP每增加6，QSTEP加倍。表23QSTEP与QP的对应关系TABLE23QSTEPANDCORRESPONDENCEBETWEENQPH264的量化过程中，还要处理DCT变换中未处理完的计算，可表述为25QSTEPPFWROUNDZIJIJ其中PF代表DCT变换中的缩放矩阵，再转化26QBITSIJIJ2MFWROUNDZ其中27QBITS2QSTEPPFM286QPFLOR15QBIT那么，只要建立一个QP和PF的对应关系，就可以对系数进行量化，计算出MF值，H264中的MF值如表24所示。量化的时候，可通过QP值算出QBITS，再根据OP，取出对应的MF值，就可以对矩阵进行量化了。表24H264中的MF值TABLE24H264INTHEMFVALUE6、熵编码多媒体数据压缩的方法可分为有损压缩和无损压缩。利用信源的统计特性进行码率压缩的编码就称为熵编码，也叫统计编码。熵编码是无损压缩编码方法，它生成的码流可以经解码无失真地恢复出原数据。除了指数型GOLOMB码和基于上下文的变长编码CAVLC相结合的熵编码技术之外，H264还提供了一种基于上下文的二进制自适应算术编码CABACCONTEXTBASEDADAPTIVEBINARYARITHMETICCODING技术。CABAC【11,18】充分发挥了算术编码压缩效率高的特点，其思想是用O到1的区间上的一个数来表示一个字符输入流，它的本质是为整个输入流分配一个码字，而不是给输入流中的每个字符分别指定码字。CABAC是用区间递进的方法来为输入流寻找这个码字的，它从于第一个符号确定的初始区间O到1开始，逐个字符地读入输入流，在每一个新的字符出现后递归地划分当前区间，划分的根据是各个字符的概率，将当前区间按照各个字符的概率划分成若干子区间，将当前字符对应的子2区间取出，作为处理下一个字符时的当前区间。到处理完最后一个字符后，得到了最终区间，在最终区间中任意挑选一个数作为输出。CAVLC的基本思想【11】就是对出现频率大的符号使用较短的码字，而出现频率小的符号采用较长的码字。这样可以使得平均码长最小。CAVLC用于亮度和色度残差数据的编码。残差经过变换量化后的数据表现出如下特性44块数据经过预测、变换、量化后，非零系数主要集中在低频部分，而高频系数大部分是零；量化后的数据经过ZIGZAG扫描，DC系数附近的非零系数值较大，而高频位置上的非零系数值大部分是1和1；相邻的44块的非零系数的数目是相关的。CAVLC充分利用残差经过整数变换、量化后数据的特性进行压缩，进一步减少数据中的冗余信息，为H264卓越的编码效率奠定了基础。与CABAC相比，CAVLC的复杂度相对较低，压缩率比CABAC低1O15，不过比起以前的熵编码方案，CAVLC已经相当有效，而且CAVLC更为简单，易于实现。214H264的研究现状1、环路滤波技术去块效应滤波器DEBLOCKINGFILTER的作用是消除经反量化和反变换后重建图像中由于预测误差产生的块效应，即块边缘处的像素值跳变，从而一来改善图像的主观质量，二来减少预测误差。出现方块效应的原因，一是在对块的帧内和帧间预测残差的DCT变换过程中，由于量化系数过于粗糙，因而反量化过程恢复的量化系数就带有误差，会造成图象方块边界的视觉不连续性。二是运动补偿预测，运动补偿块可能是从不同帧的不同位置上的内插样点数据中复制而来的，因此运动补偿块的匹配不可能是绝对准确的，所以在运动补偿块的边界处将出现数据不连续性。在H264中，采用的是4X4的DCT变换，与以前标准相比块效应相对小些，但从视觉上看仍较为明显，因此采用了一个自适应的环路滤波器，以尽量消除块效应现象。H264的滤波过程大致可分为边界分析和滤波计算两部分19。其边界强度BS从O4，对不同的块边缘采用不同强度的滤波过程。滤波过程一般是先对垂直边界进行水平滤波，再对水平边界进行垂直滤波。2、抗误码技术H264标准也是通过多种抗误码技术的联合应用来增强视频流在误码、丢包多发环境如无线和IP信道中传输的鲁棒性。在H264中主要使用了3种新的抗误码技术参数集、灵活的宏块排列次序FMO和冗余片技术。参数集20通常应用在所有的H264比特流中，它所包含的信息极其重要，它的受损将影响到大量的VCL和NAL单元，被影响的单元即使能正确接收到也不能被正确解码。参数集的灵活使用大大增强了编解码器的抗误码能力。由于采用了可靠的传输机制和性能更好的信道，参数集能被及时可靠地送达解码器端，保证了相应VCL与NAL单元的正确解码。灵活的宏块排列次序20FMO允许以不同于图像扫描顺序的组织方式将宏块分配给各片，在这种方式中，每个宏块按照宏块配置图固定地分配给一个片，片中的宏块按照扫描顺序被编码，每个片单独传输。若某个片在传输过程中丢失，可以利用其他被正确接收、包含与丢失片中宏块相邻宏块的片来进行有效的误码掩盖。由于在解码器中各个片被独立解码，从而有效地抑制了错误的蔓延，提高了解码的容错力。冗余片技术20，简单地讲就是，在同一个比特流中，编码器除了将片自身中已编码的宏块放置其中外，同一宏块的1个或多个冗余的表示也同时被放置其中，通过利用宏块的1个或多个冗余表示来克服误码造成的不可用片对重构图像的影响。冗余片使用不同的编码参数来编码，从而形成对同一宏块的不同表示。正是这种主次冗余片不同编码参数的运用，使得冗余片技术在花销最少比特数的情况下，最大限度地保证了重构图像的质量，在有误码倾向的移动信道或IP信道环境下尤为明显。3、率失真优化模型率失真优化RDO，RATEDISTORTIONOPTIMIZED策略11是一种代价函数方案，它在网络传输和编码技术中有着广泛的应用。其主要思想是在计算代价函数时，同时考虑码率和失真度两方面因素的制约，在保证低失真度的同时保证低码率，这样更加有利于视频流的传输。在整个编码器编码的过程中，码率失真控制着整个编码流程，H264编码器的帧内帧间编码的各种预测模式和宏块划分方法的最终选取都是依据RDO模型的，RDO技术在图像的失真度和码率之间做到了很好的权衡。在H264编码器中采用的是基于LAGRANGIAN优化算法的编码控制模型，其编码性能相对于以往的所有编码标准都有了很大的提高。在给定的限定码率RC下，对于给定信源样本序列所选的编码模式，应使编码后的失真度最小，如式29所示。29CRI,SI,DMIN式29中，DS，I与RS，I分别表示输出比特流的失真度和码率，I为编码模式，S为样本。在实际应用中，通常采用式210来选取编码模式。210I,SJMINARGI其中211I,SRI,SDI,SJ式211中是LAGRANGE参数。对于样本S及其选定的编码模式I，当其编码后得到的比特率和失真度的线性组合JS，I|LAGRANGIAN代价函数最小时，此时的编码模式是最优的。在LAGRANGE参数MODE与量化参数Q选定后，H264的编码器通过最