计算机检测与控制硕士论文-基于3G网络的嵌入式高速公路H.264视频监控服务器的设计与实现

分类号： 密级： 硕 士 研 究 生 学 位 论 文基于3G网络的嵌入式高速公路H.264视频监控服务器的设计与实现 专 业： 计算机应用技术 研究方向： 计算机检测与控制 研 究 生： XXX 指导教师： XXX 教授论文起止日期：2009年4月至2010年4月分类号： 密级： 硕 士 研 究 生 学 位 论 文基于3G网络的嵌入式高速公路H.264视频监控服务器的设计与实现 专 业： 计算机应用技术 研究方向： 计算机检测与控制 研 究 生： XXX 指导教师： XXX 教授论文起止日期：2009年4月至2010年4月Embedded 3G network based on H.264 video surveillance server Highway Design and ImplementationMajor：Computer Applied TechnologyDirection of Study：Computer Test and Control Graduate Student： Supervisor： Prof.Mai ChengGuoSchool of Computer ScienceYangtze UniversityApril,2009 to April,2010摘 要 随着国民经济的迅速发展，交通量的日益增多，在我国高速公路的某些区段必然会出现常发性和偶发性的交通拥挤。高速公路临近系统简介高速公路视频监控系统一般分为收费监控和道路监控两部分。收费监控系统主要是对收费站的车道、收费广场、收费亭的收费情况，对收费车道通过的车辆类型、收费员的操作过程以及收费过程中的突发事件和特殊事件进行观察和记录，实施有效的监督。道路监控系统主要是对高速公路干线、互通立交、隧道等高速公路重点路段进行监视，掌握高速公路交通状况，及时发现交通阻塞路段、违章车辆，及时给予引导，保证高速公路的安全通畅。目前高速公路中对视频信号的监控和管理自下而上可分为以下几层：（1）收费站：各收费站需要对本地的视频信号进行监控。各收费站所辖的摄像机信号全部引入本地视频监控系统，收费站对本地所有图像进行监控管理。（2）监控分中心：一条高速公路通常设置几个路段监控分中心，分别对某一路段进行监控和管理。各收费站图像根据路段监控分中心要求选择几路上传，路段监控分中心对路段中各收费站上传的图像进行统一监控和管理。（3）监控中心：（有些不设此级）多条高速公路的统一管理通常根据地域划分为若干个片区来进行。一个片区对某一区域内相临或相连的几条高速公路进行统一的监控和管理。这几条高速公路的监控分中心根据片区监控中心的要求上传图像，片区监控中心对各路段监控分中心上传的图像进行统一监控和管理。（4）省监控中心：各省高速公路管理局需要对省内所有的高速公路进行统一监控、管理和调度。各片区监控中心将自己所辖区域内的视频信号选择上传到省中心，由省中心统一监控和管理。省中心、监控中心、监控分中心之间采用联网分级控制。控制信号采用逐级转发的形式转发到需要控制的设备。作为高速公路智能交通系统应用的一个主要方面，交通监控智能化是发展的大趋势。同时，随着IP智能监控技术的迅速发展，计算机和图像处理技术的革新，先进成熟的IP智能监控系统将成为公交系统监控的主流。特别是近年来基于3G无线通信技术的迅速发展，无线远程视频监控系统以其移动装备监控网络化、数字化以及移动性等特点，集合数字采集、影像压缩、存储、数据处理、报警信号的采集、无线数据远程网络传输等功能，将前端的模拟信号处理成高清晰的实时数字图像通过3G无线发布到网络管理中心，实现异地远程移动视频监控。荆州市作为湖北省重要的交通枢纽城市，荆襄、荆岳等一批高速公路先后建成通车，对这些高速公路更好的管理便提上了日程。作为一名交通系统的职工，本人有幸参与到了该项目课题的研究。通过参阅大量课题相关资料、借鉴目前成熟的技术和算法，于是，便有了本论文的出现。本课题所设计的视频监控服务器由前端视频采集模块、DM6446为核心的嵌入式DSP、3G无线模块组成。前端视频采集模块采集的实时图像信息经过数模转换，将信号传入DM6446DSP处理芯片，DSP将前端采集的实时信号经过植入的H.264算法进行视频的压缩并封包，最后将已经封包的压缩编码通过3G网络将经过处理的图像发送至客户端。在设计阶段，首先介绍了国内外相关技术的现状，并介绍了视频压缩关键技术，然后进行了H.264算法选择及讨论，在目前三大开源H.264编解码算法进行了适当改进，以期达到误码率小，图像清晰的目的；第二步，进行了芯片选型与开发平台选择，并对硬件平台做了适当的内存管理改进，以期达到快速运算的目的；第三步，进行了基于DSP平台的H.264编码算法的讨论；第四步，介绍了适应3G的封包技术，并介绍了适应3G平台的封包算法；第五步，将改进的编码算法与数据封包算法移植到芯片中；第六步，进行了嵌入式视频监控系统的软件设计。采用基于H.264压缩编码技术和3G技术实现网络视频监控系统，在稳定性、功能、成本与扩展性等方面都有着突出的优势，具有重要的学术意义与实用意义。关键词：DM6446，H.264，3GAbstractWith the rapid development of the national economy, the increasing traffic in China is bound to certain sections of highway often fat and sporadic congestion. Application of intelligent transportation system as a highway as a main aspect of intelligent traffic control is the trend of development. Meanwhile, with the IP technology, the rapid development of intelligent control, computer and image processing technology, innovation, advanced and mature IP intelligent monitoring system will become the mainstream public transport system monitoring. Especially in recent years based on 3G wireless communications technology is developing rapidly, wireless remote video monitoring system for its mobile network equipment monitoring, digital, and mobility characteristics, a collection of digital capture, video compression, storage, data processing, alarm signal acquisition, long-range wireless data network transmission and other functions, the front-end analog signal processing into a high-resolution real-time digital image released by 3G wireless network management center to realize the remote remote mobile video surveillance.Jingzhou City, Hubei Province as an important transport hub, Jingxiang, Jing-yu has a number of highway opened to traffic, better management of these highways will be put on the agenda. As a transport system workers, I had the honor to participate in research projects in the project. See a lot of relevant information by topic, reference the current mature technology and algorithms, so, there was the emergence of this thesis.This subject is designed video surveillance server by the DM6446 embedded image server as the core, 3G wireless module.Embedded image server, real-time acquisition images compressed using H.264 encoding algorithm, and the 3G network will be processed by the image sent to the client.In the design phase, the first choice for the H.264 algorithm and discussion in the current three major open source H.264 codec algorithm was improved in order to achieve the error rate is small, the image clear purpose; the second step, carried out chip selection and development platform selected, the system uses a high-speed dual-core TI DM6446 soc chip, and will migrate to chip H.264 algorithm, 3G transmission module using the popular 3G wireless network cards to achieve; The third step was embedded video surveillance system software design.Coding based on H.264 compression technology and 3G technology network video monitoring system, stability, function, cost and scalability so all have outstanding advantages, an important academic significance and practical significance.Key words：DM6446，H.264，3G目 录目 录I第1章 绪论11.1 研究背景及意义11.2 国内外研究现状21.2.1视频监控系统的发展21.2.2图像压缩编码技术的研究现状31.3 本课题研究的内容与技术特色点51.4 论文的组织结构61.5 本章小结6第2章 H.264算法及其在3G中的应用72.1 H.264算法概述72.1.1 H264编码器结构82.1.2 H.264的档次和级92.1.3 H.264的核心技术122.1.4 H.264的研究现状202.2 H.264编码技术在3G中的应用232.2.1 3G移动通信系统中的视频业务232.2.2 3G系统及信道特性232.2.3 H.264编码在3G中的应用242.3 本章小结27第3章 基于3G的H.264的封包方法283.1 传统流媒体系统简介283.2 流媒体传输协议293.2.1 RTP/RTCP293.2.2 RTSP313.2.3 RSVP323.3 H.264的RTP封装323.3.4 H.264视频流传输控制算法343.4 本章小结36第4章 嵌入式视频监控服务器的硬件设计374.1 嵌入式监控服务器系统结构374.2 系统硬件设计384.2.1 DM6446处理器简介384.2.2 硬件电路设计394.3 本章小结41第5章 软件平台介绍及改进算法425.1 软件平台介绍425.1.1 Davinci技术概述425.1.2 Davinci的程序开发框架445.1.3 DSP算法开发455.1.4 映象文件及编解码器引擎的集成455.1.5 ARM Linux应用程序开发465.2 Davinci的内存管理及改进算法465.2.1 达芬奇的内存管理方式465.2.2 达芬奇的内存管理的不足475.2.3 改进的内存管理策略485.3 本章小结50第6章 系统软件设计516.1 嵌入式操作系统的设计516.1.1 引导程序bootloader的实现516.1.2 嵌入式Linux内核及文件系统的实现526.1.3 ARMDSP驱动程序的实现526.2 H.264算法的API函数实现546.3 视频图像传输模块的实现566.4 本章小结57第7章 总结与展望58致 谢60参考文献61个人简介65研究生学位论文原创性声明和版权使用授权说明66第1章 绪论1.1 研究背景及意义从上世纪九十年代开始，中国进入了公路建设快速发展的时期，尤其是1998年中国实施积极的财政政策以来，中国公路建设投资数量之大、开工项目之多举世瞩目。从1990年到2003年的14年间，中国公路建设累计投资近2万亿元，其中仅2003年就达3715亿元，创历史新高。2004年1至9月，中国公路建设完成投资比去年同期又增长了266。到2003年底，中国公路通车总里程达181万公里，居世界第三位，其中44是最近14年内修通的。截止到2004年已突破3万公里，高速公路总里程位居世界第二。 “十五”全国共新增公路里程25万公里，其中高速公路2.47万公里，超过了2000年以前高速公路建设的总和。交通部有关负责人说，针对公路交通事业的长远发展需要，交通部提出了8.1万公里国家重点公路建设规划，计划到2020年完成，并与目前的国道主干线共同构成国家骨架公路网。届时，中国高速公路将达到7万公里【51】。高速公路是一个国家现代化水平的重要标志之一，它与一般公路相比，具有线型好、设计标准高、交通流量大、行车速度快等特点，如不采用先进的管理措施，在交通量大、气候恶劣的情况下，极易发生交通事故和交通阻塞。为此，在一些车流量非常大的高速公路上部署全程的监控系统就是必不可少了。高速公路监控系统也从无到有、从小到大、从模仿国外到完全自行设计并制定适合我国的相关标准，也取得了相当大的成绩，但是，与国外相比我国高速公路监控技术水平处于初级阶段。近几年，随着嵌入式计算机技术、自动化控制技术和3G通信技术的发展，高速公路监控系统的技术结构也随之发生变化，本课题正是在这样的背景下提出的。高速公路监控系统它主要分为收费站监控、隧道特大桥梁监控和路面监控三大组成部分。对于收费站监控，仍采用原有的基于有线的监控方案，而对于隧道特大桥梁监控和路面监控，由于监控点分布在较广阔的范围内，并且与监控中心的距离较远，利用传统的有线连接方式，线路铺设成本高昂，而且施工周期长，或者因为物理因素难以架设线缆，如遇到河流山脉等障碍时，本监控方案可很好地解决上述问题。采用本方案无需铺设网络电缆，可迅速方便地在各种需要的地方布署数字摄像设备，建立新的视频监控系统或对现有的视频监控系统进行扩展，具有很强的灵活性和可扩充性。利用3G通信技术，可以将多个被监测点与中央控制中心连接起来，且搭建迅速，可以在最短的时间内迅速建立起无线链路。在我国，随着3G移动通信系统走向实用，高至2MHz的带宽将为无线视频监控提供更加强有力的支持，此时视频的质量将会有极大的改善。作为目前最新的视频编码技术H.264，在视频监控方面有着非常大的前景。H.264标准1采用了高精度、多模式预测技术用来提高压缩比以降低码流。H.264标准针对网络传输的需要设计了视频编码层VCL和网络提取层NAL结构，网络抽象层是提供“网络友好”的界面，从而使视频编码层能够在各种系统中得到有效的应用。H.264标准针对网络传输的需要设计了差错消除的工具便于压缩视频在误码、丢包多发环境中传输2,3，从而保证了视频传输的有效性。本课题主要采用了在现有H.264算法的基础上做了适当改进的算法，将其应用于TI DM6446芯片，通过3G无线网卡实现了实时H.264视频通过3G网络的传输。1.2 国内外研究现状1.2.1视频监控系统的发展 视频监控系统的发展大致可划分为三个阶段【52】： 20世纪90年代初及以前，主要是以模拟设备为主的闭路电视系统，称为第一代视频监控系统。其采用模拟视频线将来自摄像机的视频连接到监视器上，视频矩阵主机进行切换和控制。模拟视频监控系统由于模拟视频信号的传输对距离十分敏感，通常只适合于小范围的区域监控，而且无法进行联网，只能采取点对点的方式，使得布线工程量极大，局限性十分明显【53】。 20世纪90年代中期，利用计算机的高速数据处理能力进行视频的采集和处理，较大地提高了图像质量，增强了视频监控的功能。这种基于多媒体计算机的系统称为第二代视频监控系统，即模拟/数字混合型视频监控系统。模拟/数字混合型视频监控系统在实际工程中有着广泛应用，但由于系统中信息流的形态仍为模拟视频信号，系统的网络结构主要是一种单功能、单向、集总方式的信息采集网络，要求介质专用，因此系统的扩展能力较差。 20世纪90年代末至今，网络带宽、计算机处理能力和存储容量迅速提高，视频信息处理技术快速发展，视频监控进入了全数字化的网络时代，称为第三代视频监控系统。同时，嵌入式技术在硬件和软件方面都出现了多次飞跃，能够满足更加复杂和灵活的应用需求。利用嵌入式技术、视频压缩编码技术和网络传输控制技术为核心实现网络视频监控，在稳定性、实时性、处理速度、功能、价格、扩展性等方面都有着突出的优势。 目前在国内外市场上，主要推出的是数字控制的模拟视频监控和数字视频监控两类产品。前者技术发展己经非常成熟且性能稳定，而后者正迅速崛起，但仍需进一步完善和发展。视频监控系统正处在数控模拟系统与数字系统混合应用并逐渐向全数字系统过渡的阶段【54】。1.2.2图像压缩编码技术的研究现状 国外对图像压缩编码技术的研究比较成熟，ITU-T（国际电信联盟远程通信标准化组）下属的视频编码专家组VCEG（video Coding Experts Group)主要制定了H.26X系列标准，包括H.2614、H.2635、H.263+、H.263+等。而ISO/IEC下属的活动图像专家组MPEG(Motion PictureExpertsGroup)则主要制定了MPEG-X标准，如MPEG-1/2/4等。 MPEG-16制定于1992年，是MPEG第一阶段的成果。它规定视频信息与伴音信息经压缩之后的数据速率上限为1.5Mbit/s，从而可以在CD-ROM、可写光盘等介质上进行存储，也可以在局域网、ISDN上进行视频与伴音信息的传输。该标准采用了帧内编码和帧间编码相互结合的编码方法，支持I,P,B,DC四种帧类型，其编码速率最高可达4-5Mbits/s，但随着速率的提高，其解码后的图像质量有所降低。MPEG-1技术最成功的应用为VCD，也被用于数字电话网络上的视频传输。 MPEG-27制定于1994年，是在MPEG-1的基础上进一步发展成的音视频编码标准，主要目标是针对广播级的高质量音视频以及更高的传输率。MPEG-2能够很好的处理隔行扫描的数字视频源，支持多输入视频序列的采样格式，并支持几种可选择的运动预测模式。其所能提供的传输率在3-10MB/s之间，在NTSC制式下的分辨率可达720*480。MPEG-2技术就是实现DVD的标准技术，还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视频。 为了适应多媒体通信的快速发展，ISO于1994年开始制定MPEG-4标准8，MPEG-4标准主要由MPEG-4系统、MPEG-4音频和MPEG-4视频等基本部分和扩充的部分组成。MPEG-4视频编码的主要目标在于提供一种通用的编码标准，以适应不同的传输带宽、不同的图像尺寸和分辨率、不同的图像质量等，进而为用户提供不同的服务。与传统的基于像素的视频压缩标准不同，MPEG-4采用基于对象的视频编码方法，它不仅可以实现对视频图像数据的高效压缩，还可以提供基于内容的交互功能。此外，为了使压缩后的码流具有对于信道传输的鲁棒性，MPEG-4还提供了用于误码检测和误码恢复的一系列工具，这样采用MPEG-4标准压缩后的视频数据可以用于带宽受限、易发生误码的网络环境中。 H.261是ITU-T提出的作为H.320终端使用的视频编解码建议，制定于1992年，常称为Px64K标准，其中P是取值为1到30的可变参数。P=1或2时支持四分之一中间格式(QCIF)的帧率较低的视频电话传输；P=6时支持通用中间格式(CIF)的帧率较高的电视会议数据传输；Px64K视频压缩算法也是一种混合编码方案，即基于DCT的变换编码和带有运动预测差分脉冲编码调制(DPCM)的预测编码方法的混合。H.261主要应用于ISDN网上的视频会议系统，借助于电信行业提供的Px64K带宽的通信线路，实现异地多方参加的电视会议。目前国际、国内几乎所有的(电信、政府、企业等)电视会议系统采用的压缩技术均源自H.261标准。 H.263是ITU-T提出的作为H.324终端使用的视频编解码建议，制定于1996年。它是基于运动补偿的DPCM的混合编码，在运动搜索的基础上进行运动补偿，然后运用DCT变换和Z“Z字形扫描游程编码，从而得到输出码流。H.263在H.261建议的基础上，将运动矢量的搜索增加了半像素点搜索，同时又增加了无限制运动矢量、基于语法的算术编码、高级预测技术和PB帧编码等四个高级选项，从而，达到了进一步降低码速率和提高编码质量的目的。H.263标准能够满足现有信道所需要的压缩性能，并对信道误码提供一定的鲁棒性，从而成为新的低码率视频编码的主流标准。H.263已广泛应用于可视电话、视频邮件、银行、企业及智能化住宅的远程视频监控等领域。H.264是由ITU-T VCEG和ISO/IEC MPEG联合组成的JVT开发的最新一代视频压缩标准，其基本草案在2002年10月形成，最后的批准工作于2003年3月完成。H.264标准中有多个闪光之处，如统一的VLC符号编码、高精度且多模式的位移估计、基于4x4块的整数变换、分层的编码语法等。这些措施使得H.264算法具有很高的编码效率，在相同的重建图像质量下，能够比H.263节约50%左右的码率。同时，H.264的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。随着H.264面目的逐渐清晰，许多系统厂商和芯片供应商正在加速开发能够与当前系统和体系结构相兼容的低成本H.264产品。 H.264视频压缩编码算法是本课题研究的重点，本文随后将对其进行详细的分析。国内对图像压缩编码技术的研究发展迅速，AVS3(由数字音视频编解码技术标准工作组开发)是中国自主制定的音视频编码技术标准。AVS工作组成立于2002年6月，当年8月开始了第一次的工作会议。经过7次AVS正式工作会议和3次视频组附加会议，经历一年半的时间，审议了182个提案，先后采纳了41项提案，2003年12月19日AVS视频部分终于定稿。AVS视频当中具有特征性的核心技术包括:8x8整数变换、量化、帧内预测、1/4精度像素插值、特殊的帧间预测运动补偿、二维墒编码、去块效应滤波等。AVS的主要特点3是应用目标明确，技术有针对性。因此在高分辨率应用中，其压缩效率比现在在数字电视、光存储媒体中常用的MPEG-2视频提高一个层次。在压缩效率相当的前提下，又较MPEG-4 mainprofile的实现复杂度大为降低。目前，AVS视频压缩编码技术可实现标准清晰度(CCIR601或相当清晰度)、低清晰度(CIF,SIF)等不同格式视频的压缩。1.3 本课题研究的内容与技术特色点 本课题主要的内容为:根据目前图像压缩编码技术的发展现状，深入了解H.264视频编解码标准，采用了高效的视频压缩算法。熟练运用基于SOC的DSP的嵌入式系统设计方法，设计以TI DM6446处理器为核心的系统，并结合相关外围设备，实现具有视频采集、压缩编码与3G网络服务器功能的嵌入式视频监控服务器。主要包括: 1、根据当前监控系统的发展状况与课题的目标要求，并充分考虑本课题所选用的核心芯片与视频编解码算法的特点，进行视频监控系统的整体规划。2、以TI DM6446处理器为核心，结合所需的外设接口与功能模块，完成其定制与连接。 3、了解H.264标准，尽可能地查阅中英文资料，针对硬件平台和网络视频监控的特性，采用高效且易于实现的图像压缩编解码算法。除系统规划、硬件设计等大量工作外，本文拥有较为突出的技术特色点: 1、采用DM6446架构的SOC来构建嵌入式图像服务器的核心部分从而实现协同工作与并行处理，较大程度地提高了系统的工作效率。 2、采用了适合于3G信道传输的H.264编码算法，提高了网络带宽的使用率。1.4 论文的组织结构 本文的组织结构为:第一章介绍视频监控系统的发展、图像压缩编码技术以及3G标准的国内外研究现状，概述本文的内容与特色点。第二章描述H.264的算法及提出H.264编码技术在3G中的应用。第三章介绍了基于3G的H.264的封包方法。第四章进行核心芯片的选型与硬件设计。第五章软件平台介绍及针对本系统所作的改进算法的介绍。第六章进行了基于DM6446芯片的H.264编码器的设计。第七章进行了H.264算法的DSP实现。第八章系统软件设计。第九章总结全文所做的工作，指出系统的优势与不足，对进一步的改进与优化进行展望。1.5 本章小结本章阐述了课题的研究背景和意义，介绍了国际上现有的一些视频编码标准及其特点，视频压缩编码原理，三大3G标准比较及3G上的应用与发展趋势。最后提出了论文的主要研究内容及结构安排。第2章 H.264算法及其在3G中的应用2.1 H.264算法概述H.264是由ITU-TVCEG和ISO/IECMPEG联合组成的JVT开发的最新一代视频压缩标准，被命名为AVC(AdvancedVideoCoding)，也称为ITU-T H.264建议和MPEG-4第10部分标准，于2003年3月正式被ITU-T讨论通过并在国际上颁布。H.264不仅具有优异的压缩性能，而且具有良好的网络亲和性。H.264/AV在设计上将整个编码系统分成视频编码层VCL(VideoCodingLayer)和网络提取层NAL(NetworkAbstractionLayer)两个具有不同概念的层次。视频编码层VCL主要负责对数字视频进行高效编解码，提供具有高质量、高压缩比、健壮性、可分级等特性的视频编码码流，是整个H.264视频编码标准的核心部分。网络提取层NAL主要负责将视频编码层VCL产生的视频编码数据正确地映射到不同的传输网络中去。当VCL产生的编码视频比特流将在某种特定网络中传输时，NAL针对这种网络及其传输协议的特性，对VCL的编码码流进行适合该网络及其传输协议的封装。这样H.264就可以在面向不同的传输网络时，灵活的提供不同的封装方式，增强了网络的适应性。 对于系统中处理与传输的图像数据，可将其从宏观到微观分为视频序列、图像帧、片(slice)、宏块(macroblock)、子块(sub-block)五个层次。视频序列由若干个图像帧组成，H.264可将图像帧划分为独立解码的片，有利于抑制错误的蔓延，提高了解码的容错能力。片必须进一步划分为16X16像素的宏块，每个片所包含的宏块个数是不定的。宏块还可根据需要划分为更小的子块。为提高压缩效率，去除图像序列的时间冗余度，同时满足多媒体等应用所必须的随机存取要求，H.264把图像帧分成I帧、P帧和B帧。I帧为帧内编码帧，编码时采用帧内预测编码和变换编码。P帧为预测编码帧，采用前向运动补偿和预测残差的变换编码，由前面已解码的参考帧进行预测。B帧为双向预测编码帧，采用双向运动补偿预测和预测残差变换编码。此外，新标准的高级版本中提出了SP和SI帧的概念，用来实现在几个编码码流中任意切换。 H.264的核心算法包括帧内预测、高级运动估计与补偿、4X4整数变换与量化、熵编码、环路滤波等。其中熵编码有两种方案:一种是基于Exp-Golomb码的一致变长编码(UVLC)和基于上下文的变长编码(CAVLC)相结合的变长编码(VLC)，编码主要采用查表的方式，其中UVLC的表是固定的，而CAVLC在编码过程中会跟据周围宏块以及在之前编码的数据信息，选择不同的表，具有上下文自适应功能。另一种是基于上下文的自适应算术二进制编码(CABAC)，为基于概率模型的统计估算。2.1.1 H264编码器结构H264标准与以往的H.26l、H.263等标准一样，都是采用DCT变换编码加DPCM的差分编码方式。即混合编码结构。其核心思想是利用帧间预测编码消除图像序列中的时域冗余，利用变换编码消除频域冗余。图2-1为H.264编码器的结构框图11。图2-1 H.264编码器结构框图Figure2-1 H.264 encoder block diagram在H.264中，也是把当前编码图像划分为多个宏块，再对每个宏块进行帧间运动估计或使用帧内预测技术，所得到的残差图像经过变换、量化、熵编码等处理后得到最终码流。尽管H.264编码基本结构与H.261、H.263是类似的，但它在很多环节做了改进，主要体现【12】在：(1)高精度估计。在H.264中，采用的是1/4像素精度的运动矢量模式。(2)多宏块划分模式估计。一个宏块(MB)可划分成7种不同模式的尺寸。(3)多参数帧估计。最高允许5个参考帧。(4)小尺寸44的整数变换。不仅减少了图像变换过程中的计算量，还减少了运动物体边缘的衔接误差。(5)更精确的帧内预测。每个44块中的每个像素都可用17个最接近先前已编码的像素的不同加权和来进行帧内预测。(6)丰富的熵编码方式。主要包括基于内容的自适应二进制算术编码(CABAC)和基于上下文的自适应变长编码(CAVLC)。2.1.2 H.264的档次和级H.264像以前所有其他视频标准那样，提供了不同的档次(Profiles)和级(Levels)。不同的Profile提供了不同的算法要求和限制，而对一个指定的Profile，又分为不同的Level。Level的选择一般都是根据计算机的运算能力和内存容量决定的。不同的Level支持不同的分辨率和数据码率。 H.264支持3种档次,其档次关系如图2-2【11】所示。每个档次支持一组特定的编码功能，并支持一类特定的应用。图2-2 H.264的档次关系图Figure2-2 H.264 grade diagram基本档次(Baseline Profile)主要用于可视电话、会议电视、无线通信等实时视频通信。其解码器支持以下特性：(1)I片和P片类型；(2)去块滤波；(3)l/4像素精度运动估计；(4)CAVLC熵编码模式；(5)4：2：O的色度块采样率；(6)支持冗余片(Redundant Slice)；(7)支持任意片顺序(Arbitrary Slice Order)编码；(8)支持zig-zag扫描方式：(9)支持逐行扫描(progressive)；(10)支持灵活块顺序(Flexible Macroblock Order)编码方案；(11)不支持宏块帧场自适应编码。2、主要档次(Main Profile)主要用于数字广：播电视与数字视频存储。其解码器支持以下特性：(1)支持B片；(2)CABAC嫡编码：(3)自适应双向预测；(4)支持场编码；(5)支持帧场自适应编码；(6)支持逐行扫描(progressive)和隔行扫描(interlaced)；(7)不支持片组与任意片次序编码；(8)不支持冗余片。3、扩展档次(Extended Profile)主要应用于流媒体中，如视频点播。其解码器支持的特性如下：(1)B片类型；(2)SP和S1类型；(3)数据分层片；(4)自适应双向编码(Weighted Prediction)；(5)Baseline中支持的所有特性；(6)支持场编码：(7)支持帧场自适应编码；(8)不支持隔行扫描和CABAC。最新的H.264/AVC还增加了一个高端档次(High Profile)，它主要是在MainProfile的基础上新增了8x8帧内预测、自定义量化(custom quant)及无损视频编码(lossless video coding)等。2.1.3 H.264的核心技术 1、H.264的分层设计H.264在概念上可以分为两层：视频编码层(VCL，Video Coding Layer)和网络提取层(NAL，Network Abstraction Layer)，如图2-3【1】所示。其中VCL负责高效的视频内容表示，NAL负责以网络所要求的恰当的方式对数据进行打包和传送。这样，高编码效率和网络友好性的任务分别由VCL和NAL来完成。图2-3 H.264分层结构Figure2-3 H.264 hierarchical structureVCL数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在VCL数据传输或存储之前，这些编码的VCL数据，先被映射或封装进NAL单元中。NAL包括自己的头部信息、段结构信息和实际载荷信息。每个NAL单元包括一个原始字节序列负荷(RBSP)、一组对应于视频编码数据的NAL头信息。NAL单元序列的机构见图2-4【11】图2-4 NAL单元序列Figure2-4 NAL unit sequence2、高精度的运动估计在H.263中采用了半像素估计，在H.264中则进一步采用1/4像素甚至l/8像素的运动估计。即真正的运动矢量的位移可能是以l/4甚至1/8像素为基本单位的。显然，运动矢量位移的精度越高，则帧间剩余误差越小，传输码率越低，即压缩比越高12。在H264中采用了6阶FIR滤波器的内插获得1/2像素位置的值。当1/2像素值获得后，l/4像素值可通过线性内插获得，对于4：l：1的视频格式，亮度信号的l/4像素精度对应于色度部分的1/8像素的运动矢量，因此需要对色度信号进行1/8像素的内插运算。理论上，如果将运动补偿的精度增加一倍(例如从整像素精度提高到1/2像素精度)，可有O.5bit/Sample的编码增益，但实际验证发现在运动矢量精度超过1/8像素后，系统基本上就没有明显增益了，因此，在H.264中，只采用了1/4像素精度的运动矢量模式，而不是采用1/8像素的精度。3、灵活的运动补偿 每个宏块(16X16像素)可以4种方式分割：一个16X1 6，两个16X8，两个8X16，四个8X8。其运动补偿也相应有四种。而8X8模式的每个子宏块还可以四种方式分割：一个8X8，两个4X8或两个8X4及4个4X4。详见图2-513所示。这些分割和子宏块大大提高了各宏块之间的关联性。这种分割下的运动补偿则称为树状结构运动补偿11。图2-5 H.264中的宏块及子宏块划分Figure2-5 H.264 in the macro block and sub-macroblock partition每个分割或子宏块都有一个独立的运动补偿。每个MV必须被编码、传输，分割的选择也需编码到压缩比特流中。对大的分割尺寸而言，MV选择和分割类型只需少量的比特，但运动补偿残差在多细节区域能量将非常高。小尺寸分割运动补偿残差能量低，但需要较多的比特表征MV和分割选择。分割尺寸的选择影响了压缩性能。整体而言，大的分割尺寸适合平坦区域，而小尺寸适合多细节区域。宏块的色度成分(Cr和Cb)则为相应亮度的一半(水平和垂直各一半)。色度块采用和亮度块同样的分割模式，只是尺寸减半(水平和垂直方向都减半)。帧内预测在视频编码中，通常的方法是把整幅图像分为若干宏块，然后对每一个宏块进行编码。在编码时采用Intra或Inter两种模式。在Intra模式中通常直接对宏块进行DCT变换，对变换系数进行熵编码。这样做在一定程度上消除了帧内的空间冗余度，但是由于DCT只是利用了宏块内部像素之间的相关性，而没有考虑相邻宏块问的相关性。H.264引入了Intra预测的方法，利用相邻宏块的相关性对待编码的宏块进行预测，对预测残差进行变换编码，以消除空间冗余。以前的标准是在变换域中进行预测，而H.264是直接在空间域中进行预测【14】。在H.264中，帧内亮度块预测分为l6xl6的预测和4x4的预测。其中亮度4x4块有9种预测模式，如图2-6【15】所示。图2-6 4x4亮度块的9种预测模式Figure2-6 4x4 luminance of 9 prediction model4x4亮度块的预测模式描述详见表2-1【11】。表2-1 4x4亮度块预测模式描述Table2-1 4x4 luminance prediction models described16xl6的亮度块，有4种预测模式，如图2-7【15】所示。图2-7 16x16亮度块的4种预测模式Figure2-7 16x16 luminance block of four kinds of prediction mode表2-2 16x16块的预测模式描述Table2-2 16x16 block prediction model description16x16亮度块的预测模式描述详见表2-2【11】。色度块的预测是固定的8x8的，其预测与16xl6类似，也有4种预测模式，只是模式编号不同。其中DC(模式O)，水平(模式1)，垂直(模式2)，平面(模式3)。整数DCT变换及量化H.264标准中使用44的整数DCT变换作为残差宏块的基本变换，这种变换的对象是经过运动补偿预测或者帧内预测后的包含残差数据的44块。这类变换是基于DCT变换，但又不同于DCT。H.264中采用的变换是整数操作而不是实数运算，便于使用简单的定点运算方式。变换的单位是44块，而不是以往常用的88块。由于用于变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量比较小，而且在运动物体边缘处的衔接误差也大为减小。图2-8 DCT变换中宏块的变换块及扫描顺序Figure2-8 DCT transform block to the blocks in the macro and scanning order如图2-816所示，H.264中使用了三种变换方法17：(1)宏块中的每个44亮度块以及44色度块的DCT变换，变换矩阵H1如公式(2-1)。(2)对宏块中的44亮度直流系数的Hadamard变换，其变换矩阵H2如公式(2-2)。(3)对宏块中22色度直流系数的Hadamard变换。其变换矩阵H3如公式(2-3)。 (2-1) (2-2) (2-3)在对块进行了DCT变换以后，由于图像的信息主要集中在低频部分，高频分量很小。这时候，就需要对这些变换后的系数进行量化。量化主要就是将每个图像样点编码映射成较小的数值。H.264的量化器原理如下： (2-4)其中，Yij是待量化的系数，Zij是输出的量化系数，QStep是量化步长，round（）是取整函数。QStep的取值与量化参数（QP）有关，QP的范围是0-51，它与量化步长的对应关系如表2-3所示，QP值每增加1，QStep变化幅度增加12.5%，QP每增加6，QStep加倍。表2-3 Qstep与QP的对应关系Table2-3 Qstep and correspondence