（电工理论与新技术专业论文）基于h264的嵌入式视频服务器的设计与开发.pdf

浙江大学硕一i 二学位论文 a b s t r a c t i nr e c e n ty e a r s ，w i t ht h er a p i dp r o g r e s so fi n t e r n e tt e c h n o l o g y , c o m p u t e r t e c h n o l o g ya n dv i d e oi m a g ep r o c e s s i n gt e c h n o l o g y , v i d e os u r v e i l l a n c et e c h n o l o g y i sd e v e l o p i n gt o w a r dn e t w o r k i n g ，d i g i t a la n di n t e l l i g e n td i r e c t i o n m e a n w h i l et h e v i g o r o u sv i d e os u r v e i l l a n c em a r k e th a sah i g h e rd e m a n d f o rv i d e oi m a g ec l a r i t ya n d s t a b i l i t y f o rt h i sr e a s o n ，w ed e s i g na n dd e v e l o pah i g h p e r f o r m a n c ee m b e d d e d v i d e os e r v e r t h en e t w o r kv i d e os e r v e rb a s e do nt h ef r e e s c a l ev i d e op r o c e s s i n gc h i pi m x 2 7 r u n n i n go nt h el i n u xo p e r a t i n ge n v i r o n m e n t u s i n gs h o r tc o n n e c t i o nt oc o m p l e t e t h e i n t e r a c t i o nb e t w e e nt h es e r v e ra n dc l i e n t s ，w h i c he f f e c t i v e l ys a v es y s t e mr e s o u r c e s a n dr e d u c et h ec p uu t i l i z a t i o no ft h es e v e r m o r e o v e r , i no r d e rt o o b t a i nh i g h q u a l i t yv i d e oi m a g e s ，t h es e r v e ra d o p t sa na d a p t i v ed e - i n t e r l a c i n ga l g o r i t h mb a s e d o nt h eu s eo fs p l i c i n ga n di n t e r p o l a t i o no ns t a t i ca n dm o v i n gp i c t u r er e s p e c t i v e l yt o r e a l i z ed e - i n t e r l a c i n go ft h ev i d e oi m a g e ，w h i c hg u a r a n t e e st h ei n t e g r i t yo ft h ev i d e o d a t aa n di m p r o v et h ev i d e oc l a r i t y i nt h ee n do ft h i sp a p e r , t h ep r i n ts c r e e no ft h e s e r v e ri sg i v e n ，a c h i e v i n gt h ed e s i r e dd e s i g n e dg o a l t h e r ea r ef i v ec h a p t e r si nt h i s p a p e r ： t h ef i r s tc h a p t e rm a i n l yi n t r o d u c e st h eb a c k g r o u n da n ds i g n i f i c a n c eo ft h i s t o p i c ，t h eh i s t o r ya n dc u r r e n ts t a t u so fv i d e os u r v e i l l a n c es y s t e m ，t h ea d v a n t a g e so f e m b e d d e dn e t w o r kv i d e os u r v e i l l a n c es y s t e m ，a n dt h et r e n do fv i d e os u r v e i l l a n c e s y s t e md e v e l o p m e n ti sd i s c u s s e di nt h ee n d t h es e c o n dc h a p t e ri sm a i n l yf o c u s e do ns o m ek e yt e c h n o l o g yo ft h i st o p i c ， i n c l u d i n gv i d e oc o m p r e s s i o na l g o r i t h m ，h 2 6 4e n c o d i n gt e c h n o l o g y , a r mc o r e p r o c e s s o r e m b e d d e dl i n u xo p e r a t i o ns y s t e mf e a t u r e s ，f i n a l l yi n t r o d u c e dv i d e o i m a g ed e i n t e r l a c e r t h et h i r dc h a p t e ri sm a i n l yi n t r o d u c e dv i d e os e r v e r sh a r d w a r ea r c h i t e c t u r e ， i n c l u d i n gi m x 2 7c h i p s ，t v p 5 15 0c o r ec h i p sa n dv i d e os e r v e r sc i r c u i tm o d u l ed e s i g n t h ef o u r t hc h a p t e ri sf o c u s e do nv i d e os e r v e rs o f t w a r ed e s i g n ，i n c l u d i n g s o f t w a r ea r c h i t e c t u r e ，b o o t l o a d e ri n t r o d u c t i o n ，l i n u xo p e r a t i o ns y s t e mm i g r a t i o n ， f i l es y s t e mp r e s e n t a t i o na n dp r o d u c t i o n ，f i n a l l yh i g h l i g h t i n g t h ea p p l i c a t i o n s o f t w a r ed e s i g n t h ef i f t hc h a p t e ri sa l le n g i n e e ra p p l i c a t i o no ft h ev i d e os e r v e rw ed e v e l o p e d ， a n dt h er e s u l ti sa l s og i v e n ，f i n a l l yt h en e x ts t e pw es h o u l dt a k et oi m p r o v et h ev i d e o s e r v e ri sa l s og i v e ni nt h ee n do ft h i sp a p e r k e y w o r d s ：e m b e d d e dl i n u xs y s t e m ；h 2 6 4 ；d e i n t e r l a c i n gt r a n s f o r m a t i o n ；s h o r t c o n n e c t i o n s ；v i d e ot r a n s m i s s i o n ； 一l l 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：如d 年多月 ，日 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有权保留并向国家有关部门或机 构送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权迸姿盘堂 可以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 同 学位论文作者签名： 签字日期：zo ，o 年 导师签名：方b 钆覆 签字开期：动6 年：弓月， 浙江大学硕上学位论文 1 1 课题背景及意义 第1 章绪论 随着近年经济社会的快速发展和人们生活水平的提升，人们安全防范意识 日益增强。安全防范市场呈现出蓬勃发展态势，尤其以2 0 0 8 年北京奥运会、2 0 1 0 年在上海、广州分别举办的世博会、亚运会为标志。这三大盛会的举办刺激了 国内安全防范市场需求量的迅速膨胀，安防系统建设已由原来的国家要害部门 扩展到当今的公共场所、大型建筑、金融、交通、林业部门火情监控和社区安 全等社会的各个角落，特别是近几年“平安城市”建设在全国的展开，更是推 动和促进了安全防范行业的技术创新和竞争。仅2 0 0 8 年全国的安防市场规模即 已达到1 0 亿美元，是继美国之后的全球第二大安防市场，所以我国的安全防范 行业面临着前所未有的发展机遇。 1 2 视频监控系统的历史和现状 到目前为止，视频监控系统的发展经历了三个阶段。 1 模拟视频监控系统( v c r ) ( 也称闭路电视系统) 这类系统出现在2 0 世纪8 0 年代到9 0 年代初，为第一代视频监控系统。这 类系统主要是基于模拟信号技术构建的模拟视频监控系统( v c r ) ，也被称为 闭路电视系统。系统由模拟摄像机、视频矩阵、监视器、录像机等组成，利用 模拟视频线将来自摄像机的视频信号连接到监视器上，利用视频矩阵主机，采 用键盘进行切换和控制，录像采用磁带录像机。但由于模拟视频监控系统的视 频采用电缆传输，因而线路的衰减比较大，传输距离不远，只能适用于小范围 的监控，而且功能单一，可扩展性不强。 2 基于p c 机插卡式的视频监控系统( 半数字化的视频监控系统) 随着计算机网络技术、视频图像处理技术、数字视频压缩编码技术和多媒 体技术的发展， 到了2 0 世纪9 0 年代后期，视频监控系统逐渐借助p c 机，并在p c 机内部 插入视频压缩卡进而实现视频流数据的网络传输。这种监控系统的结构通常为： 一1 浙江大学硕士学位论文 将分布在各个监控场点的模拟摄像机通过数据线路连接到装有视频压缩卡的 p c 机或者专用的工控机上，然后再将这些p c 机或者工控机接入到网络中。这 样就可将压缩后的视频数据通过互联网实现视频流的集中处理和分发。相比于 第一代的模拟视频监控系统，基于p c 机的监控系统，由于发挥了计算机的强 大的数据处理和计算能力，因而功能较强，灵活性高。但这种系统可扩展性不 高，系统的稳定性也不理想。此外，由于一台p c 机或工控机只能处理最多8 路的模拟视频，因而对于较大型的监控网络系统，其成本比较昂贵。 3 全数字化的视频监控系统( 嵌入式网络数字监控系统) 近年来，由于集成芯片技术的快速发展，计算机技术微型化发展的趋势明 显，嵌入式技术已应用到工业和生活的各个方面，在视频监控领域也出现了一 种新的、革命性的监控模式，即：基于视频服务器技术的远程视频监控系统。 这种系统是以视频数据的压缩、传输、存储和播放为核心，以互联网为依托， 以智能的视频图像分析为特色，真正引发了视频监控技术和产业的变革。它的 基本原理是：采用嵌入式实时多任务操作系统，在芯片上集成视频压缩与传输 处理功能。摄像机传采集的视频信号数字化后由高效压缩芯片进行压缩，然后 通过内部处理后发送到网络或服务器上。网络上的用户可以通过专用软件或者 直接用浏览器观看w e b 服务器上的摄像机图像，授权用户还可以控制摄像机云 台镜头的动作或对系统进行配置。 1 3 嵌入式视频监控系统的先进性 与基于p c 机的网络监控系统相比，嵌入式视频监控系统具有以下优点： 第一，节省工程费用。传统的视频监控系统结构复杂，主要包括p c 机、 视频卡、专用于具体视频卡的软件等。整个系统体积比较大，不易于安装和调 试，且视频流的传输距离有限。而嵌入式视频监控系统是通过计算机网络( 局 域网或广域网) 传输图像数据的，一方面可以直接用监控场所的现有网络而不 必要重新建设新的传输线路，有效地节约了成本。 第二，性能高、可靠性好。由于所有视频数据的传输都是通过网络( 局域 网或广域网) 完成。冈而信号的质量好，不易受到干扰。所以整个系统的稳定 1 浙江大学硕上学位论文 性和性能比较高。 第三，系统构建简单，工程周期短。嵌入式监控系统功能模块比较独立， 各个模块之间的连接简单，真正实现了即插即用。只要接入网络，给其分配一 个地址，即可实现系统的组网。 在嵌入式视频监控系统成为当前监控系统的主流技术的同时，市场对视频 图像的高清晰度，高流畅性提出了更高的需求，本课题就是在这样的背景下， 根据合作单位的技术需求，选择“基于h 2 6 4 的嵌入式网络视频服务器的设计 与开发作为毕业课题，开发一种清晰度高的、性能稳定的嵌入式视频服务器。 1 3 1 嵌入式网络视频服务器的优势 嵌入式网络视频服务器是一种对音视频数据进行压缩、存储及处理的专用 的嵌入式设备，具有广泛的应用，它在视频监控、网络教学、视频会议、广告 插播及视频节目点播等方面有着广泛的应用。视频服务器可以采用h 2 6 4 、 h 2 6 3 、m p e g 一2 、m p e g 4 等压缩格式，在符合技术指标的情况下对视频数据 进行压缩编码，以满足存储和传输的要求。具有多通道输入输出、多种视音频 格式接口。可配备s c s i 、f c 等网络接口进行组网，实现视音频数据的传输和 共享。 嵌入式网络视频服务器是一种专用的进行压缩、存储、处理视音频数据的 专用计算机，它由视音频压缩编码器、大容量存储设备、输入输出设备、网络 接口、视音频接口、r s 4 2 2 串行接口、协议接口、软件接口等构成。 视音频压缩编码器：由于视频图像数字化之后，数据量很大，因而要利用 成熟的压缩技术，将视频数据在满足技术指标要求的条件下进行高压缩比的压 缩，对视频数据进行压缩，以满足存储和传输要求。常用的压缩标准有m j p e g 、 m p e g 2 、m p e g 一4 等压缩编码器，通常用户可以根掘实际情况来选择压缩码和 压缩结构，以适合于各种不同的播出场合，即达到了节省硬盘空间，其通常由 于嵌入式视频服务器在网络上进行视频数据的传输，通过对视频图像的压缩可 以有效地节约网络带宽，提高了网络传输的性能。 大容量存储设备：视频服务器使用高速、宽带的s c s i 接口硬盘或最为先 一3 一 浙江大学硕l 学位论文 进的f c 接口硬盘作为视音频素材存储介质，能够实现将视音频数据进行本地 存储。同时视音频数据的硬盘扩充也比较灵活。 输入输出通道：视频服务器具备多通道输入输出系统，使多路录入、播 放能同时进行，实现多任务。 网络接口：嵌入式视频服务器具有网络接口，方便组网，能够在互联网上 实现数据共享。一般的视频服务器都带有f c 和以太网接口。f c 光纤网采用i p 协议作为视频服务器之间快速、实时复制和移动素材的交换网络，以太网用于 传送控制数据和状态检测的信息。 视音频接口：视频服务器都带有标准视音频接口和模拟监视视频接口，方 便监视各通道的视频信号。输入输出信号可以在模拟、分量和s d i 中选择。 r s 4 8 5 串行接口：视频服务器都带有多个r s 4 8 5 串行接口，通过这些串口 可以将视频服务器的运行状态反馈给外部的计算机，同时视频服务器中集成了 各种控制协议，通过r s 4 8 5 串口可以实现对外接到球机进行控制，实现对监控 场景的转换。 网络视频监控服务器由于具有独立完成网络传输功能，不需要另外设置计 算机，故其能实现简单的i p 方式组网，是传统的模拟监控所无法实现的。每部 网络视频服务器具有网段内唯一i p 地址，通过网络连接方便方便对该设备( i p 地址) 进行控制管理，也即通过i p 地址识别、管理、控制该网络视频服务器所 连接的视频源，故其组网只是简单的i p 网络连接，新增一个设备只需要增加一 个i p 地址，极大的方便了原由模拟系统的网络升级改造和其他网络需求情况。 i p 组网是网络视频服务器的特性，但是由于国内i p 地址资源的贫乏，目 前国内的经济性宽带( a d s l 、有线宽带等) 都采用动态i p 方式上网，这就使 得网络视频服务器需要解决上网问题，网络视频服务器基本上都能采用域名方 式来支持d d n s ( 动态i p ) ，如果网络视频服务器不支持域名解析，则需要额 外增加昂贵的网络使用成本。 由于网络视频服务器的工作可以不需要外胃的计算机，故网络视频服务器 能独立自动上网就很有必要，否则一台网络视频服务器配置一台计算机来实现 一4 一 浙江大学硕上学位论文 拨号则失去了网络视频服务器的意义。目前国内的网络视频服务器基本上都能 够实现该功能，如网视通产品专门为国内宽带情况而设计的a d s l 自动拨号技 术则非常方便的。 网络视频服务器的组网方式有诸多优点，结合中央控制管理软件及服务器 模式可以实现更多的网络应用。通过网络技术，可以在实现只要能上网的地方 就可以浏览画面，采用配套的解码器则可以不需要计算机设备直接传输到电视 墙等方式浏览，极大的节约了远程监控的成本。 1 3 2 本文的嵌入式视频服务器的特点 1 ) 将多通道、网络传输、录像与播放等功能简单集成网络，这点对目前的 h 2 6 4 网络型硬盘录像机而言也很容易实现，但是两种产品的基本功能不同也 导致了其应用场合不同，目前对于模拟阶段及第一代的网络性能不好的设备而 言，网络视频服务器可以提供较低成本的解决方案。 2 ) 采用性能优越的h 2 6 4 的压缩标准，可以在保证获得高质量的视频画质 的同时节约网络带宽，在一定的带宽下实现多路视频流数据的网络传输。 3 ) 可获得高清晰度的视频图像。本文的视频服务器应用自适应反交错算法 实现视频图像的奇偶场的合并，能够分别对静止、运动图像拼接和插值，实现 了反交错图像变换，保证了数据的完整性，提高了图像的清晰度。 4 ) 本文视频服务器的服务端与客户端的通讯采用短连接的方式，与现有长 连接的通讯方式相比，这种方法每次与客户端的通信只完成一项任务，完成后 立即释放所占资源，服务端只给有需求的客户端分配系统资源，有效地减少了 系统资源的消耗和c p u 的占有时间，提高了设备的稳定性和处理速度。 5 ) 本文视频服务器支持多种协议，能与高速球等其他安防设备进行较好的 整合，形成更大的系统集成网络，真正实现视频监控系统的网络化和数字化。 1 4 视频监控系统的发展趋势 现今视频监控系统已经步入了全数字时代。这将彻底打破“闭路电视系统” 模拟方式的结构，从根本上改变了视频监控系统从信息采集、传输处理、系统 一，一 浙江大学硕上学位论文 控制的方式和结构形式，也标志着监控正在走向现代“四化”阶段即： 前端一体化：监控系统前端一体化意味着多种技术的整合、嵌入式构 架、适用和适应性更强以及不同探测设备的整合输出。为系统集成化奠定了基 础。 传输网络化：视频监控系统的网络化意味着系统的结构将由集总式向 集散式系统发展，集散式系统采用多层分级的结构形式，将使整个网络系统硬 件和软件资源以及任务和负载得以共享，这也是系统集成与整合的重要基础。 处理数字化：信息处理数字化意味着信息流的数字化、编码压缩、开 放式的协议，具有微内核技术的实时多任务、多用户、分布式操作系统，以实 现抢先任务调度算法的快速响应，硬件和软件采用标准化、模块化和系列化的 设计，系统设备的配置具有通用性强、开放性好、系统组态灵活、控制功能完 善、数据处理方便、人机界面友好以及系统安装、调试和维修简单化，系统运 行互为热备份，容错可靠等功能。 系统集成化：系统集成化正是由于构建系统的各子系统均实现了网络 化和数字化，特别是使视频监控系统与弱电系统中其它各子系统间实现无缝连 接，从而实现了在统一的操作平台上进行管理和控制。 前端一体化、视频数字化、监控网络化、系统集成化是视频监控系统公认 的发展方向，而数字化是网络化的前提，网络化又是系统集成化的基础，所以， 视频监控发展的最大两个特点就是数字化和网络化。 1 ) 数字化 数字化是2 l 世纪的特征，是以信息技术为核心的电子技术发展的必然，数 字化是迈向成长的通行证，随着时代的发展，我们的生存环境将变得越来越数 字化。 视频监控系统的数字化首先应该是系统中信息流( 包括视频、音频、控制 等) 从模拟状态转为数字状态，这将彻底打破经典闭路电视系统是以摄像机成 像技术为中心的结构，根本上改变视频监控系统从信息采集、数据处理、传输、 系统控制等的方式和结构形式。信息流的数字化、编码压缩、丌放式的协议， 一6 浙江大学硕j ：学位论文 使视频监控系统与安防系统中其它各子系统间实现无缝连接，并在统一的操作 平台上实现管理和控制，这也是系统集成化的含义。 2 ) 网络化 视频监控系统的网络化将意味着系统的结构将由集总式向集散式系统过 渡。集散式系统采用多层分级的结构形式，具有微内核技术的实时多任务、多 用户、分布式操作系统以实现抢先任务调度算法的快速响应。组成集散式监控 系统的硬件和软件采用标准化、模块化和系列化的设计，系统设备的配置具有 通用性强、开放性好、系统组态灵活、控制功能完善、数据处理方便、人机界 面友好以及系统安装、调试和维修简单化，系统运行互为热备份，容错可靠等 优点。系统的网络化在某种程度上打破了布控区域和设备扩展的地域和数量界 限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共 享，这也是系统集成的一个重要概念。 综上所述，随着计算机技术及网络技术的迅猛发展，世界掀起一股强大的数 字化、网络化浪潮，对于公安、安防行业的发展，必须经历模拟数字混合的阶 段，但是最终的趋势必然是全面数字化，即视频在前端进行数字化、网络化， 利用网络进行传输，采用分布式存储系统，模块化结构，完成视频监控任务 1 5 本章小结 本章主要介绍了课题的背景和意义，视频监控系统的历史和现状，以及网 络视频监控系统的先进性，包括本论文设计开发的视频服务器的优点，最后探 讨了视频监控系统的发展趋势。 一1 一 浙江大学硕十学位论文 第2 章嵌入式网络视频服务器的关键技术 在本文设计的嵌入式网络视频服务器中应用到几项关键的技术，下面逐一 介绍： 2 1 视频压缩算法 2 1 1 编码的基本原理 文字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常 称为信源编码【1 2 啪】，是信息领域研究的基本问题，信源编码标准是信息领域的 基础性标准。音视频编码标准是音视频系统必须遵循的基础性标准，无论是数 字电视、激光视盘机，还是多媒体通信和各种视听消费电子产品，都需要音视 频信源编码这个基础性标准。与文字符号编码不同的是，音视频编解码标准的 重要任务是把数字视频和音频数据进行大幅度压缩。数字化视频和音频的数据 量大是惊人的。例如，p a l 制式、4 ：4 ：4 采样的彩色视频，每秒的数据量超 过2 0 0 m b ，高清晰度数字电视每秒的数据量超过1 g b 。这样的数据量是常规的 存储器、传输带宽难以承受的。要在消费电子产品中应用，必须采用先进的压 缩编码算法将数字化的视频和音频信息进行大幅度压缩，这也是音视频编解码 标准要解决的核心问题。由于音频的数据量比视频低得多，由此音视频信源编 码标准要解决的重点问题是视频压缩。视频能够压缩的根本原因在于视频数据 具有较高的冗余度。压缩就是消除冗余，主要基于两种技术：统计学和心理视 觉吲。消除统计冗余的基本依据是视频数字化过程在时间和空间上采用了规则 的采样过程。视频画面数字化为规贝u 的像素阵列，其密集程度适于表征每点最 高的空间频率，而绝大多数画面帧包含非常少甚至不含这种最高频率的细节。 同样，所选的帧频能够表征场景中最快的运动，而理想的压缩系统只要描述场 景所必需的瞬时运动即可。简言之，理想的压缩系统能够动态适应视频在时间 和空问上的变化，所需要的数据量远低于数字化采样所产生的原始数据。 心理视觉技术主要是针对人类视觉系统极限。人类视觉在对比度带宽、空 间带宽( 特别是彩色视觉) 、时间带宽等方面存在极限，而且，这些极限并非相 互独立，整体的视觉系统存在上限。例如，人眼不可能同时察觉到时i 日j 和空i 、日j 一8 一 浙江大学硕上学位论文 的高分辨率。显然，没有必要表征那些不能被感知的信息，一定程度的压缩损 失是人的视觉系统感知不出来的。压缩效果的评价标准有主观评价和客观评价 两种，各有优缺点。主观评判是聘请专门的评价人员来比较压缩之后再恢复的 视听效果和原始效果的差异，通常是在专门的视听环境中按照一定的规则进行 主观评分。客观评判则是通过一种具体的算法来统计多媒体数据压缩结果的损 失，如信噪比s n r ( 即信号与噪声之比的对数) 。主观评判和客观评判有时相 差很大，因此衡量一个算法的好坏就需要在这两者之间找到一个平衡点。对一 套标准的评价，通常开发过程中采用客观评价的方法，但最终要得到主观评价 的确认。由于人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占 有重要地位；同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定 多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对 视频编码的研究已成为信息技术领域的热门话题。视频编码的研究课题主要有 数据压缩比、压缩解压速度及快速实现算法三方面内容。以压缩解压后数据 与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压 缩( 即可逆压缩) 和有失真压缩( 即不可逆压缩) 两类。传统压缩编码建立在 仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源， 其压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。 伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术不断诞 生并同益成熟，其编码思想由基于像素和像素块转变为基于内容 ( c o n t e n t b a s e d ) 。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性 及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象 ( o b j e c t b a s e d ) 和基于语义( s e m a n t i c s b a s e d ) 两种，前者属于中层压缩编码， 后者属于高层压缩编码。 2 1 2h 2 6 4 视频编码标准 h 2 6 4 ，同时也是m p e g 4 第十部分【12 1 ，是由i t u t 视频编码专家组 ( v c e g ) 和i s o i e c 动态图像专家组( m p e g ) 联合组成的联合视频组( j v t ， j o i n tv i d e ot e a m ) 提出的高度缩数字视频编解码器标准。 h 2 6 4 是一种高性能的视频编解码技术。目前国际上制定视频编解码技术 的组织有两个，一个是“国际电联( i t u t ) ”，它制定的标准有h 2 6 1 、h 2 6 3 、 一9 一 浙江大学硕上学位论文 h 2 6 3 + 等，另一个是“国际标准化组织( i s o ) ”它制定的标准有m p e g 1 、 m p e g 2 、m p e g 4 等。而h 2 6 4 则是由两个组织联合组建的联合视频组( j ) 共同制定的新数字视频编码标准，所以它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 高级视频编码( a d v a n c e dv i d e oc o d i n g ，a v c ) ，而且它将成为 m p e g 4 标准的第1 0 部分。因此，不论是m p e g 4a v c 、m p e g 一4p a r t1 0 ，还 是i s o i e c1 4 4 9 6 1 0 ，都是指h 2 6 4 。 h 2 6 4 最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下， h 2 6 4 的压缩比是m p e g 2 的2 倍以上，是m p e g - 4 的1 5 - 2 倍。 2 1 2 1h 2 6 4 视频标准的主要特点 1 ) 更高的编码效率：同h 2 6 3 等标准的特率效率相比，能够平均节省大于 5 0 的码率。 2 ) 高质量的视频画面：h 2 6 4 能够在低码率情况下提供高质量的视频图像， 在较低带宽上提供高质量的图像传输是h 2 6 4 的应用亮点。 3 ) 提高网络适应能力：h 2 6 4 可以工作在实时通信应用( 如视频会议) 低 延时模式下，也可以工作在没有延时的视频存储或视频流服务器中。 4 ) 采用混合编码结构：同h 2 6 3 相同，h 2 6 4 也使用采用d c t 变换编码加 d p c m 的差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、 多帧预测、基于内容的变长编码、4 4 二维整数变换等新的编码方式，提高了 编码效率。 5 ) h 2 6 4 的编码选项较少：在h 2 6 3 中编码时往往需要设置相当多选项， 增加了编码的难度，而h 2 6 4 做到了力求简洁的“回归基本”，降低了编码时复 杂度。 6 ) h 2 6 4 可以应用在不同场合：h 2 6 4 可以根据不同的环境使用不同的传输 和播放速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和 误码。 7 ) 错误恢复功能：h 2 6 4 提供了解决网络传输包丢失的i 、u j 题的工具，适用 于在高误码率传输的无线网络中传输视频数据。 一10 浙江人学硕士学位论文 8 ) 较高的复杂度：2 6 4 性能的改进是以增加复杂性为代价而获得的。据估 计，h 2 6 4 编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当 于h 2 6 3 的2 倍。 h 2 6 4 标准各主要部分有a c c e s su n i td e l i m i t e r ( 访问单元分割符) ，s e i ( 附 加增强信息) ，p r i m a r yc o d e dp i c t u r e ( 基本图像编码) ，r e d u n d a n tc o d e dp i c t u r e ( 冗余图像编码) 。还有i n s t a n t a n e o u sd e c o d i n gr e f r e s h ( i d r ，即时解码刷新) 、 h y p o t h e t i c a lr e f e r e n c ed e c o d e r ( h r d ，假想码流调度器) 、h y p o t h e t i c a ls t r e a m s c h e d u l e r ( h s s ，假想参考解码) 。 2 1 2 2h 2 6 4 标准的关键技术 1 ) 帧内预测编码 帧内编码用来缩减图像的空间冗余。为了提高h 2 6 4 帧内编码【1 2 】的效率， 在给定帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。 因此，在对一给定宏块编码时，首先可以根据周围的宏块预测( 典型的是根据 左上角的宏块，因为此宏块已经被编码处理) ，然后对预测值与实际值的差值进 行编码，这样，相对于直接对该帧编码而言，可以大大减小码率。 2 ) 帧间预测编码 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的 运动补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更 多的功能，除了支持p 帧、b 帧外，h 2 6 4 还支持一种新的流间传送帧s p 帧。码流中包含s p 帧后，能在有类似内容但有不同码率的码流之| 日j 快速切换， 同时支持随机接入和快速回放模式。s p 一帧h 2 6 4 的运动估计有以下4 个特性。 a ) 不同大小和形状的宏块分割 对每一个1 6 x 1 6 像素宏块的运动补偿可以采用不同的大小和形状，h 2 6 4 支持7 种模式。小块模式的运动补偿为运动详细信息的处理提高了性能，减少 了方块效应，提高了图像的质量。 b ) 高精度的亚像素运动补偿 浙江大学硕十学位论文 在h 2 6 3 中采用的是半像素精度的运动估计，而在h 2 6 4 中可以采用1 4 或者1 8 像素精度的运动估值。在要求相同精度的情况下，h 2 6 4 使用1 4 或者 1 8 像素精度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的残 差来得小。这样在相同精度下，h 2 6 4 在帧间编码中所需的码率更小。 c ) 多帧预测 h 2 6 4 提供可选的多帧预测功能，在帧间编码时，可选5 个不同的参考帧， 提供了更好的纠错性能，这样更可以改善视频图像质量。这一特性主要应用于 以下场合：周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机 的镜头。 3 ) 去块滤波器 h 2 6 4 定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平 和垂直块边缘，大大减少了方块效应。 4 ) 整数变换 在变换方面，h 2 6 4 使用了基于4 x 4 像素块的类似于d c t 的变换，但使用 的是以整数为基础的空间变换，不存在反变换。与浮点运算相比，整数d c t 变换会引起一些额外的误差，但因为d c t 变换后的量化也存在量化误差，与之 相比，整数d c t 变换引起的量化误差影响并不大。此外，整数d c t 变换还具 有减少运算量和复杂度，有利于向定点d s p 移植的优点。 5 ) 量化 h 2 6 4 中可选3 2 种不同的量化步长，这与h 2 6 3 中有3 1 个量化步长很相 似，但是在h 2 6 4 中，步长是以1 2 5 的复合率递进的，而不是一个固定常数。 在h 2 6 4 中，变换系数的读出方式也有两种：之字形( z i g z a g ) 扫描和双扫描。 大多数情况下使用简单的之字形扫描；双扫描仅用于使用较小量化级的块内， 有助于提高编码效率。 6 ) 熵编码 视频编码处理的最后一步就是熵编码，在h 2 6 4 中采用了两种不同的熵编 一12 浙江大学硕：卜学位论文 码方法：通用可变长编码( u v l c ) 和基于文本的自适应二进制算术编码 ( c a b a c ) 。 在h 2 6 3 等标准中，根据要编码的数据类型如变换系数、运动2 矢量等， 采用不同的v l c 码表。h 2 6 4 中的u v l c 码表提供了一个简单的方法，不管符 号表述什么类型的数据，都使用统一变字长编码表。其优点是简单；缺点是单 一的码表是从概率统计分布模型得出的，没有考虑编码符号间的相关性，在中 高码率时效果不是很好。 因此，h 2 6 4 中还提供了可选的c a b a c 方法。算术编码使编码和解码两 边都能使用所有句法元素( 变换系数、运动矢量) 的概率模型。为了提高算术编 码的效率，通过内容建模的过程，使基本概率模型能适应随视频帧而改变的统 计特性。内容建模提供了编码符号的条件概率估计，利用合适的内容模型，存 在于符号间的相关性可以通过选择目前要编码符号邻近的己编码符号的相应概 率模型来去除，不同的句法元素通常保持不同的模型。 2 2a r m 核心处理器 嵌入式处理器是嵌入式系统的核心。 2 2 1a r m 处理器构架 a r m ( a d v a n c e dr i s cm a c h i n e sl i m i t e d ) 公j 下式【1 3 】成立于1 9 9 0 年。在 1 9 8 5 年9 月2 6 日，第一个a r m 原型在英国剑桥的a c o n 计算机有限公司诞生。 目前，a r m 架构处理器已在高性能、低功耗、低成本的嵌入式应用领域占领 先地位【2 2 】。 ( 1 ) a r m 架构的特点 a r m 作为嵌入式系统中的处理器，具有低电压、低功耗和低集成度等特 点；并具有开放和可扩性。事实上已成为嵌入式系统首选的处理器架构。 ( 2 ) r i s c 型处理器结构 a r m 采用了r i s c 结构，并使一个机器周期执行一条指令。这样减少了复 杂功能的指令，减少指令条件，选用使用频度最高的指令，简化处理器的结构， 一13 浙江人学硕上学位论文 减少处理器的集成度；并使每一条指令都在一个机器周期内完成，提高了处理 器速度。由于指令相对比较精简，降低了处理器的复杂性，因此，中央控制器 没有必要采用微程序的方式。a r m 则采用了硬接线p l a 的方式。 ( 3 ) t h u m b 指令集 由于r i s c 型处理器的指令功能相对比较弱，a r m 为了弥补此不足，在新 型a r m 构架( v 4 t 版本以上) 定义了1 6 位的t h u m b 指令集。t h u m b 指令集比 通常的8 位和1 6 位c i s c r i s c 处理器具有更好的代码密度，而芯片面积只增 加6 ，可以使程序存储器更加小。 ( 4 ) 多处理器状态模式 a r m 可以支持用户、快中断、中断、管理、中止、系统和为定义等7 种 处理器模式，除了用户模式外，其余的均为特权模式。这也是a r m 的特色之 一，可以大大提高a r m 处理器的效率。 ( 5 ) 嵌入式在线仿真调试 a r m 构架的处理器芯片都嵌入了在线仿真i c e r t 逻辑，便于通过j t a g 来访真调试a r m 架构芯片。另外，处理器核中还可以嵌入跟踪宏单元 e t m ( e m b e d d e dt r a c em a c r o c e l l ) 用于监控内部总线，实时跟踪指令和数据的执 行。 ( 6 ) 灵活方便的接口 a r m 架构具有协处理器接口，这样，既可以使基本的a r m 处理器内核尽 可能小，又可以方便的扩充各种功能。另外，a r m 处理器核还具有片上总线 o c b ( o n - c h i pb u s ) 的a m b a ( a d v a n c e dm i c r o c o n t r o l l e rb u sa r c h i t e c t u r e ) 。 ( 7 ) 低电压低功耗的设计 a r m 架构的设计采用了以下一些措旌： a ) 降低电源电压，可工作在3 0 v 以下； b ) 减少门的数目，即降低芯片的集成度； 一1 4 浙江火学硕士学位论文 c ) 减少门的翻转次数，当某个功能电路不需要时禁止门翻转； d ) 降低时钟频率( 不过也会损失了系统的性能) 。 2 2 2a r m 处理器系列 a r m 处理器目前包括以下几个系列的处理器以及其他厂商实现的基于 a r m 体系结构的处理器： 1 ) a r m 7 系列，是成熟的大批量的3 2 位r i s c 芯片，处理速度达到1 3 0 m i p s ， 功耗很低，得到广泛的操作系统和实时操作系统的支持，包括l i n u x ，w i n c e 等。 2 ) a r m 9 系列，五级整数流水线，单一的3 2 位a m b a 总线接口。统一的 数据c a c h e 和指令c a c h e 。 3 ) a r m l 0 e 系列，所采用的新的体系使其在所有a r m 产品中具有最高的 m i p s m h z ，a r m l 0 e 系列处理器采用了新的节能模式，提供了6 4 位的读取 写k ( 1 0 a d s t o r e ) 体系，六级整数流水线，在典型的o 1 3 u m 工艺下，处理速度可 以达到4 0 0 m i p s 。 4 ) s e c u r c o r e 系列，提供了基于高性能的3 2 位r i s c 技术的安全解决方案， 采用软内核技术，以提供最大限度的灵活性，以及防止外部对其进行扫描探测， 提供了安全特性，抵制攻击。 2 3 嵌入式l i n u x 操作系统 操作系统( o p e r a t i n gs y s t e m ，o s ) 是一种特殊的系统软件，它把底层的硬 件细节封装起来，为运行在其上面的软件提供一个抽象的编程接口，同时它又 是系统资源的管理者，管理着系统当中的各种软硬件资源，保证了系统能够可 靠地高速运行。而嵌入式操作系统( e m b e d d e do p e r a t i n gs y s t e m ，e o s ) 指的是 在嵌入式系统中使用的操作系统。嵌入式操作系统的开发十分困难，仅凭一己 之力很难设计出稳定、可靠、高效的嵌入式操作系统内核，通常采取将现有的 嵌入式操作系统裁剪、配置后可用于开发中，而不