（计算机系统结构专业论文）嵌入式网络视频监控系统的研究与设计.pdf

哈尔滨工程大学硕士学位论文 ；宣；暑暑宣昌暑暑暑i 暑置暑暑暑宣宣暑i 宣；暑暑；i i i i i 暑暑宣昌昌i i ；i 宣mit - = 宣宣宣暑i 毫i 宣昌高宣毒宣昌宣昌萱 摘要 随着网络视频监控系统在人们生产和生活的广泛应用，现存的基于p c 的网络视频监控系统存在着稳定性差、不易于管理等缺点，而体积小、性能 稳定的嵌入式网络视频监控系统成为研究的热点，并且具有广阔的应用前景。 本文提出以低功耗设计技术为出发点的系统设计方案。着重在现有的单 处理器方案基础上，研究如何从硬件和软件两方面，对系统进行低功耗设计。 硬件采用高性能且低功耗的p 心7 0 嵌入式处理器，软件以源码开放的嵌入 式l i n u x 操作系统为基础，程序设计采用结构灵活的模块方式，划分为视频 采集、压缩、传输和接收。为了提高视频处理速度和降低系统功耗，本文通 过对系统功耗估计分析，确定主要对视频采集模块和压缩模块进行优化设计， 视频采集采用内存映射技术，减少视频图像的f o 功耗。为了减少编码运算 量和提高视频编码速度，视频压缩模块采用低档次的m p e g - 4 编码框架，同 时对运算量大的运动估计算法进行了深入分析，确定选用最近邻搜索算法， 并进行优化改进，实现最终降低系统功耗。 本文设计的嵌入式网络视频监控系统实现了远程监控功能。论文最后测 试了整体功能和性能，从结果数据上分析了系统视频处理速度和视频压缩比， 系统的性能比以往有较大提高。 关键词：低功耗；嵌入式系统；m p e g - - 4 ：流媒体；网络视频监控 哈尔滨工程大学硕士学位论文 a b s tr a c 七 w i t ht h ew i d ea p p l i c a t i o no fn e t w o r k 【m o n i t o r i n gs y s t e mi np e o p l e s p d u c t i o na n dl i f e ，p o o rs t a b i l i t ya n dd i f f i c u l tm a n a g e m e n ts h o r t c o m i n g si n p c - b a s e dn e t w o r kv i d e om o n i t o r i n gs y s t e ma r ee x s i t e dn o w , w h i l et h er e a r c ho f e m b e d d e dn e t w o r kv i d e o m o n i t o r i n gs y s t e mw i t h s m a l ls i z ea n d g o o d p e r f o r m a n c eh a sb e c o m et h eh o t s p o t , a l o n gw i t hb r o a da p p l i c a t i o np r o s p e c t t h es y s t e md e s i g ni sb a s e do nl o wp o w e rd e s i g nt e c h n o l o g y f o c u so nt h e e x i s t i n gm e t h o d so nt h eb a s i so fas i n g l ep r o c e s s o r , l o wp o w e rd e s i g nf o rt h e s y s t e mi sr e s e a r c h e do nb o t hh a r d w a r da n ds o f t w a r e h i g hp e r f o r m a n c ea n di o w p o w e re m b e d d e dp r o c e s s o rp x a 2 7 0i su s e df o rh a r d w a r e ，o p e ns o u r c ee m b e d d e d l i n u xo p e r a t i n gs y s t e mi sf o rs o f t w a r e p r o c e d u r ed e s i g n e d 、i t haf l e x i b l e ， m o d u l a rs t r u c t u r e , i sd i v i d e di n t ov i d e oa c q u i s i t i o n , c o m p r e s s i o n ，t r a n s m i s s i o n a n dr e c e i v i n gm o d u l e i no r d e rt oi m p r o v ev i d e op r o c e s s i n gs p e e da n dr e d u c e s y s t e mp o w e rc o n s u m p t i o n ，b a s e do nt h es y s t e mo f p o w e re s t i m a t i o n ，a c q u i s i t i o n m o d u l ea n dt h ev i d e oc o m p r e s s i o nm o d u l ed e s i g ni so p t i m i z e d m e m o r y m a p p i n g t e c h n i q u ei su s e df o rv i d e oc a p t u r et or e d u c et h ev i d e oi op o w e r i no r d e rt o r e d u c ec o d ec o m p u t i n gc a p a c i t ya n de n h a n c ev i d e oc o d i n gs p e e d ，l o wl e v e lo f m p e g 一4c o d i n gf r a m e w o r ki su s e df o rv i d e oc o m p r e s s i o nm o d u l e a tt h es a m e t i m e ，t h el a r g ea m o u n to fc o m p u t i n gm o t i o ne s t i m a t i o na l g o r i t h mi sa n a l y z e di n d e p t h ，a n dn e a r e s tn e i g h b o rs e a r c ha l g o r i t h mi ss e l e c t e da n di m p r o v e d ，t h e u l t i m a t ep o w e rr e d u c t i o no ft h es y s t e mi sa c h i v e d r e m o t em o n i t o r i n gf i m c t i o ni sa c h i v e di nt h ed e s i g no fe m b e d d e dn e t w o r k v i d e os u r v e i l l a n c es y s t e m t h eo v e r a l lf u n c t i o n a l i t ya n dp e r f o r m a n c ei st e s t e di n t h ee n d b ya n a l y z i n gt h er e s u l t so fd a t af r o mt h ev i d e op r o c e s s i n gs p e e da n d v i d e oc o m p r e s s i o nr a t i oo ft h es y s t e m ，t h ep e r f o r m a n c eo ft h es y s t e mh a sb e e n i m p r o v e dg r e a t l yt h a ni nt h ep a s t k e y w o r d s ：l o wp o w e r ；e m b e d d e ds y s t e m ；m p e g - 4 ；s t r e a m i n gm e d i a ； n e t w o r kv i d e om o n i t o r i n g 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均己在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：墼墨亟 e l 期：2 1 ；年2 月26 日 哈尔滨工程大学硕士学位论文 暑暑暑暑暑皇昌暑i 宣；昌；暑；i ；i 宣暑i 暑i 岛1 | - - i ；i ；暑；暑i 昌暑宣i 暑昌昌皇暑暑i 暑暑昌宣昌宣昌宣宣 1 1 课题目的和意义 第1 章绪论 随着通信、网络、电子等科学技术的快速发展，以及人们对安全防范要 求的提高，传统的模拟视频监控已经无法满足社会发展的要求。利用网络通 信技术，实现视频监控系统的数字化、网络化，逐渐成为监控领域发展的主 流。网络监控系统所具有的处理速度快、画质好、存储传输方便等优点，使 它具有广阔的研究和应用前景。 目前应用比较广的网络视频监控系统的是基于p c 的网络监控系统，利 用计算机的高速数据处理能力进行视频的采集和数字化处理，该监控系统终 端功能较强，便于现场操作，但是工作现场离不开p c ，且系统不稳定，易出 现死机等状况，需要专人管理。网络视频监控系统的另一个发展方向是基于 嵌入式技术的网络视频监控系统，使监控系统脱离了传统的p c 机和 w i n d o w s 操作系统，以嵌入式处理器和嵌入式操作系统为基础，把视频的 采集、压缩、传输集成到一个体积* l i d , 的设备内，作为网络的一个节点，连 接到网络上，达到即插即看，省掉多种复杂的电缆，安装方便。其优点是性 能稳定，节省成本，易于实现系统的模块化设计，便于管理和维护，能够充 分利用网络资源。 虽然嵌入式网络视频监控系统在体积、稳定性、适用性上占有优势，可 由于受到硬件条件限制，如视频压缩芯片或嵌入式处理器的处理能力有限， 不能运行先进的压缩算法，导致监控画面质量不好，网络传输速度慢，实时 监控延迟大。然而随着嵌入式硬件技术的发展，这些已不再是约束条件，尤 其近些年出现了一批高端嵌入式处理器，其主频最高可达6 0 0 m h z ，处理速 度较以往有了很大提高，同时具有低功耗和动态电源调节特性，为研究高性 能嵌入式视频监控系统提供了良好的基础。本文研究目的也是基于这些高端 嵌入式处理器实现高质量的视频监控，提高视频压缩速度，降低网络延迟， 使远程视频监控终端获得良好的视频监控画面。 1 哈尔滨工程大学硕士学位论文 嵌入式网络视频监控系统应用范围广泛。如商业领域：以连锁模式经营 的商业零售企业，如连锁超市总部对其各门店的远程视频监控管理。金融领 域：以网点星状分布为特点的金融企业，如银行中心分行对其各营业网点的 远程视频监控管理，提高安防、消防等警卫级别。教育领域：所有普通及寄 宿制幼儿园，让家长可以通过网络实时实景的监控孩子在幼儿园学习、生活、 游戏的情况。由于上面的原因，嵌入式网络视频监控系统已经逐渐成为视频 监控业界关注的焦点。作为一个新兴的又十分有前景的领域，在网络化普及 的今天具有十分重要的意义。 1 2 国内外发展现状 基于嵌入式网络视频监控系统的研究n 埘，国外公司起步早，出现一大批 监控产品的生产公司，例如索尼公司、松下、加拿大p i c p o 公司、德国m i r 公 司等。这些公司掌握先进的研制技术，并生产出一系列成熟的产品，如索尼 公司推出的“a w s g 5 0 0 ”，还有松下k x h c m1 3 0 、三星s n c 1 0 0 p 、安特a n t n w c1 0 5 0 1 0 0 等，这类产品一般采用m p e g 或者小波压缩方法，其性能普遍 比较好，被广泛应用于监控领域。同时，一些大公司采用强强联合的方式， 增强自己的能力，如美国南方贝尔公司通过合作，联合p r o t e c t i o no n e 公司， 共同向用户提供解决方案，推出更为先进的多路视频监控产品。 国内监控生产企业落后于国外公司，尚不能完全独立开发专业的硬件平 台，无法掌握核心芯片和嵌入式开发的关键技术，企业技术创新能力较差。 主要靠在国外的芯片基础上，开发视频采集压缩卡，或在现有的处理器上进 行视频编码开发，视频监控的整体性能较低。但由于近几年的发展，我国的 一些企业已经拥有自己的研发队伍，具有相关产品的设计制造能力，和一定 规模的生产检测能力，能够按照产品的技术指标以及需求开发设计出产品， 在市场上具有良好的品牌信誉和知名度。如北京超清晰技术公司开发嵌入式 视频服务器，能实现高标准视频编码，同时还具有智能检索功能，但这些公 司一般只是对视频监控系统的底层软件或应用性软件进行开发，硬件技术跟 国外公司还有一定的差距。 目前，嵌入式视频监控系统的解决方案主要有以下几种： 2 哈尔滨工程大学硕士学位论文 ( 1 ) d s p 处理器+ a r m 处理器。该方案由d s p 处理器完成视频压缩，a r m 处 理器完成网络传输。文献 3 】提出基于d s p + a r m 嵌入式视频服务器方案，虽 然该方案可以利用d s p 处理高复杂度m p e g 4 或h 2 6 4 算法，获得较好的视频 处理效果，但使用a r m 对d s p 进行通信控制和调试比较困难，同时由于采 用双处理器，也增加了系统成本和体积。 ( 2 ) 图像压缩芯片+ 嵌入式处理器。该方案由专门的图像压缩芯片来压缩视 频数据，嵌入式处理器来进行系统协调控制。文献【4 】提出以视频压缩芯片 v w 2 0 1 0 进行视频数据压缩，以a r m 7 处理器完成视频传输。这种方案虽能 完成视频监控，但不能对视频压缩算法进行升级或配置，且只能压缩j p e g 格式的图片，不能实现实时监控，有一定的局限性。 ( 3 ) 基于高性能多媒体处理器。该方案主要采用一种处理器完成视频的采 集、压缩和传输。文献 5 】提出基于d s p 的系统设计，以及文献 7 提出基于 a r m 9 的系统设计，这种方案减少了系统开发时的体积和成本，但d s p 移植 的操作系统有限，功能单一，不能做系统控制，而a r m 9 处理器却因其运算 速度受限，不能高效处理进行视频压缩。所以单处理器方案需要协调好系统 压缩速度和控制之间的关系。 1 3 课题研究内容和论文组织 通过对目前解决方案的研究分析，人们对嵌入式网络视频监控系统已经 做了多方面研究，但是，还是没有比较完善的方案能解决所有问题，随着嵌 入式处理器技术、视频编解码技术、低功耗设计技术等多方面的发展，需要 研究设计更为完善的嵌入式网络视频监控系统。本文在现有的方案中采用第 三种设计方案，研究如何基于单处理器，实现嵌入式网络视频监控系统的功 能。使该系统具有监控画面质量好，网络传输时延低等优点。同时本文以降 低嵌入式系统功耗为前提，以提高视频处理速度，降低系统资源开销为目标， 从硬件和软件两方面进行研究设计。硬件上研究分析如何选择合适的处理 器，软件上从占用系统资源开销大的部分入手，选择合适的视频压缩算法。 同时对视频采集和压缩部分进行局部优化设计。论文比以往嵌入式网络视频 监控系统有所改进的地方在于，本文的研究设计从嵌入式系统的低功耗设计 3 哈尔滨工程大学硕士学位论文 角度出发，系统整体性能得以改进。同时系统采用模块设计方法，视频的采 集、压缩和传输都是相互独立的模块，增加了系统的灵活性。 根据课题研究内容，本文的组织结构如下： 第l 章根据嵌入式视频监控系统的目的和意义，引出本文的研究内容和 研究重点。 第2 章根据本文所涉及的相关技术，简要介绍了视频编码标准，研究分 析比较不同配置的嵌入式系统所适合的编码标准，同时还介绍了流媒体技术 原理和相关协议，最后提出低功耗设计的必要性及设计技术， 第3 章对系统功耗进行具体分析，确定进行低功耗设计的总体方案，研 究如何从系统的硬件和软件两方面进行低功耗的具体设计。 第4 章利用l i n u x 提供的v 4 l 接口实现视频采集，同时采取内存映射技术 进行视频采集优化，根据嵌入式监控系统的特点，提出m p e g 4 视频压缩方 案，使用x v i d 编码函数进行视频压缩。同时对计算量大的运动估计进行深入 分析，选用适合嵌入式系统的最近邻搜索算法。 第5 章网络传输部分，利用r t p 传输协议，将视频打包处理，进行视频 网络传输。最后还简单介绍视频终端如何接收视频和视频解码。 第6 章对系统整体功能进行测试，对m p e g 4 视频压缩性能进行测试以及 分析。 4 哈尔滨工程大学硕士学位论文 第2 章嵌入式网络视频监控系统技术研究 2 1 视频编码技术 2 1 1 视频编码技术标准 视频压缩是实现视频监控的核心技术，如果不对视频数据进行压缩，会 占用大量的网络带宽和存储空间。如对1 路图像大小为3 5 2 x 2 8 8 ( 像素) ，2 5 帧s 的p a l 制彩色数字视频，如果每种颜色的每个像素用8 b i t 表示，则码率 高达5 8m b i t s ，如果存储l 小时这样未经压缩的视频，要占用磁盘空间2 6 g b 。 如果采用合适的压缩方式及编码器参数，同样1 路视频，仍然有良好的质量， 码率只有约2 0 0k b i t s ，压缩后大大节省了传输带宽1 。 ， 视频压缩通过去除信号间的时间和空间的冗余度来实现的。目前视频编 码技术标准主要有： ( 1 ) j p e g 标准 j p e g ( 联合图像专家组) 是静态图像数据压缩标准，既可以用于灰度图像 又可用于彩色图像压缩。 ( 2 ) m p e g 标准 i s o i e c 的运动图像专家组m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定 了m p e g 系列的多媒体视音频压缩编码标准，该系列标准已成为国际上影响 最大的多媒体技术标准，其中m p e g 1 和m p e g 2 “甜是第一代压缩编码技术， 其主要基于像素的图像编码方法，m p e g 4 是第二代压缩编码技术，其主要 基于对象视频编码。 ( 3 ) h 2 6 x 标准 i t u t 的v c e g ( 视频编码专家组) 开发了h 2 6 1 标准，用于支持网络 视频会议和可视电话，h 2 6 3 是h 2 6 1 的改进，提供比h 2 6 1 更好的压缩效 率。h 2 6 4 是由1 1 r u t 和i s o i e c 联合提出的标准，压缩效果比以往视频标 准好。 5 哈尔滨工程大学硕士学位论文 j p e g 标准主要应用于扫描仪，数码相机等静态图像文件的保存：m p e g 系列标准主要用于视频存储( d v d ) 、视频广播和视频流媒体；h 2 6 x 系列标 准主要用于实时视频通信，比如视频会议、可视电话等。 2 1 2 视频编码标准比较 根据文献 3 5 】提供的视频编码标准性能的比较，我们可以清晰的看到 m p e g - 4 和h 2 6 4 的编码性能要明显优于j p e g 、m p e g 1 和m p e g 2 ，其中 h 2 6 4 编码性能最好，j p e g 性能最差。 图2 1 编码性能比较 j p e g 视频编码基于原始图像进行简单的离散小波变换，然后对得到的变 换系数进行量化、算术熵编码，最后形成输出码流。m p e g 1 和m p e g 2 是 基于像素的图像编码方法，着眼于图像信号的统计概率描述信源，采用预测 编码、变换编码、熵编码及运动补偿等数据压缩编码技术，将视频序列按时 间先后分为一系列帧，每一帧图像又分成宏块以进行运动补偿和编码。 j p e g 、m p e g 1 和m p e g 2 都属于低层次的视频编码，其压缩思想是基 于数据的统计，只是去除数据的冗余。视频编码压缩比低，对运动图像压缩 效果不好，但其算法复杂度低，适合低配置的嵌入式系统，如文献 4 】设计的 嵌入式视频监控系统，采用低端的m b 8 6 3 9 压缩芯片实现m p e g 2 视频压缩， 6 哈尔滨工程大学硕士学位论文 通过主频不到5 0 m h z 的a r m 7 处理器负责视频传输控制。这种视频监控系 统的优点是系统成本低，但视频数据的压缩和传输效果不理想。所以当视频 监控系统不需要对远程进行实时监控或不需高速率传输视频监控图像时可以 采用这几种压缩方式。 m p e g - 4 和h 2 6 4 是基于对象的n ”第二代视频编码标准，与m p e g 1 和 m p e g - 2 不同的是编码具有针对性，不是单纯的采用块技术，对整个视频图 像进行分块编码，而是通过对象提取技术从视频图像中提取出编码对象，从 对象的形状、运动、纹理等信息进行编码，利用不同编码工具，对不同的对 象采取不同的编码策略，背景对象采用高压缩率编码，或者不编码，在解码 端根据其他视频帧重新还原，对前景图像编码采用较低压缩率编码，尽量保 留细节和平滑。这种基于对象的视频编码，克服了以前因为高压缩率编码导 致方块效应，实现了高效的存储和传输，同时更具有灵活性，使得操作、控 制对象成为可能性，可以实现基于对象内容的交互性，实现基于多媒体内容 的检索和访问。 m p e g - 4 和h 2 6 4 优势在于更高的编码效率，图像压缩比高，码率适应 范围宽，可以实现低码率的视频编码，最低编码比特率可以达到几十k b p s ， 而m p e g 1 和m p e g 2 的编码比特率在1 m b p s 左右，不能在低比特率下进行 有效的编码。所以在相同的比特率下，m p e g - 4 和h 2 6 4 能提供更高的视频 监控效果，使得在低带宽的信道上传送视频、音频成为可能。同时m p e g - 4 和h 2 6 4 还提供多种档次的视频编码方案，基于内容的的可分级性，即把内 容、质量、复杂性分成许多小块来满足不同监控终端的不同需求，支持具有 不同带宽、不同存储容量的传输信道和接收端。 m p e g - 4 和h 2 6 4 虽然压缩效果好，但其算法复杂，对嵌入式系统的硬 件设置要求高，需要专f - j i 宦i 性能的压缩芯片或高运算速度的处理器来实现。 如文献【5 提到的采用t i 公司的6 0 0 m h 的d s p 实现h 2 6 4 视频压缩，视频压 缩后的比特率比以往省5 0 ，同时画面质量优良。这种监控系统硬件成本高， 但监控效果好，图像传输速率快，适合对视频监控有较高要求的场合。 7 哈尔滨工程大学硕士学位论文 2 2 流媒体传输技术 2 2 1 流媒体技术原理 流媒体技术是一种新兴的网络传输技术，指的是一种新的多媒体传送方 式。基本原理是首先对音频、视频等多媒体文件进行预处理，主要采用高效 的压缩算法，降低文件大小，然后用流媒体传输协议进行传输，在网络传输 过程中，音视频等多媒体文件被分解成许多数据包，发送到网络上进行传输， 由于各个包选择的路由可能不相同，到达接收端就会有先后顺序，为此接收 端设置缓存来弥补延迟和抖动的影响，并保证数据包按正常顺序播出，通常 来讲，缓存的容量不需要太大，只需将开始部分内容存入缓冲区，通过丢弃 已经播放的内容，向空闲空间继续存放后续的视频流，即可实现数据流随时 传送随时播放。接收端用户通过解压设备对这些数据进行解压后，音视频数 据就会像发送前那样显示出来。 流媒体实现的关键技术是流式传输技术，实现流式传输有两种方法n 订： 顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 和实时流式传输( r e a lt i m es t r e a m i n g ) 。 顺序流式传输是顺序下载，用户可以边下载文件，边观看在线媒体。顺 序下载一般使用h t t p 服务器，文件通过顺序流方式发送，在给定时刻，用 户只能观看已下载的那部分，而不能跳到还未下载的前头部分。由于标准的 h t t p 服务器可以实现顺序流式发送，不需要其他特殊协议，所以顺序流式 传输被称作f i t t p 流式传输。 实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实时观 看到。实时流式传输与顺序流式传输不同，他需要专用的流式传输媒体服务 器与传输协议。实时流式传输总是实时传送，特别适合现场事件厂也支持随 机访问，用户可快进或后退以观看前面或后面的内容。 2 2 2 流媒体技术协议 流式传输的实现需要合适的传输协议。由于t c p 采用等待确认和错误重 发机制，需要较多的开销，所带来较大的时延对实时视频和音频是不能接受 哈尔滨工程大学硕士学位论文 mm m m _m m m m 的，会造成声音不连续或着视频画面丢失，故t c p 不太适合传输实时数据。 u d p 协议只是传输数据包，不管数据包传输的时间顺序，本身不提供任何 q o s 保证。因此需要一种新的多媒体传输形式。流式传输协议主要有实时传 输协议r t p 和实时传输控制协议i 玎c p 。 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) “町实时传输协议是为支持多媒体通信 而定义的协议，是由组织i e t f i n t e m e t 工程任务组作为r f c l 8 8 9 提出并标准 化发布的，后来为了改进r t p 会话中带宽问题，又发希了升级版r f c 3 5 5 0 。 提出r t p 的目的是提供时间信息和实现流同步，是专门为交互式语音、视频 等实时数据而设计的传输协议，用于i p 、视频传输等实时多媒体应用，它 提供的服务包括负载类型标识、序列编号、时间戳和传输控制等，通过这些 工作，上层应用程序可以利r t p 保证流数据的同步，实现音视频数据流的实 时传输。 r t p 本身不具有独立传输数据的能力，必须和底层的网络协议结合起来 才能完成数据传输服务。提供端到端的网络传输功能，适合通过组播和点播 传送实时数据，为数据流提供时间信息和实现流同步。但r t p 本身并不能为 按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它 依靠r t c p 提供这些服务。 r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) ，是r t p 的伴生协议，r t c p 包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料，因此， 服务器可以利用这些信息动态地改变传输速率，甚至改变有效载荷类型。在 r t p 会话期间，为了监测网络服务质量、通信带宽等，r t c p 允许发送方和 接收方周期性互相传输一系列包含有关正在传输的数据以及网络性能的额外 信息的报告，r t c p 就是依靠这种成员之间周期性地传输控制分组来实现控 制监测功能的。r t c p 报文也是封装在u d p 中，以便于进行传输。 r t p 和r t c p 配合使用，它们能以有效的反馈和最小的开销使传输效率 最佳化，因而特别适合传送网上的实时数据。在实时传输中具有其自有的适 用性： ( 1 ) 协议简单灵活，传输效率高。r t p 协议不具备运输层协议的完整功能， 不支持资源预留，也不保证实时传输的服务质量。r t p 将部分传输层协议功 能( 比如流量控制) 上移到应用层完成，简化了传输层处理，提高了该层效率。 9 哈尔滨工程大学硕士学位论文 同时r t p 分为传输和控制两个部分，一个r t p 会话一般需要使用两个相邻 的端口。传输部分r t p 使用较小的偶数端口用于传输媒体数据，控制部分 r t c p 使用较大的奇数端口用于传输控制信号。传输和控制部分相辅相成， 共同完成流媒体的传输和流量的控制。 ( 2 ) 可扩展性。r t p 协议一般通过一个应用程序进程提供服务，如传输音视 频数据时，具体实现是在应用程序中嵌套r t p 发送进程。r t p 协议不是通 过网络体系结构中独立的一层来实现，只是负责提供协议框架，开发者可以 根据应用的具体要求对协议进行充分的扩展。 ( 3 ) 协议的自适应性。发送方可以根据来自接收方的r t c p 包计算包丢失， 确认接收方看到的网络状况。发送端根据反馈信息评价包丢失及确认网络状 况，并相应地调节发送帧率。除了改变发送速率，还可以通过调整媒体质量 ( 如视频分辨率大小，音频采样率等) 也能达到带宽自适应的目的n - 1 。 2 3 嵌入式系统低功耗设计技术 2 3 1 低功耗设计的必要性 随着现代微处理器技术的发展，处理器芯片的体积越来越小，芯片设计 者最初只是追求如何进一步缩小芯片的面积，考虑如何提高系统的性能。例 如，存储器的设计所追求的是大容量和高度密集，处理器的设计所追求的是 高速度、多功能和更长字长的处理能力阳1 。但是，随着速度和性能的提升，处 理器的功率消耗，给系统设计带来了局限性。尤其对移动设备或嵌入式设备 来讲，由于受到资源、能量等客观条件的限制，一般采用电池作为主要供电 来源，当系统功耗增加导致工作电压提升时，对电池的需求就大大加强，限 制了系统的使用时间。这就需要如何从每个细节考虑降低系统消耗，尽量延 长电池使用时间。同时功耗的增加也会对系统散热造成影响，当系统工作时， 电路的功耗会全部转变为热能，导致整体温度升高，需要快速散热，造成系 统冷却成本提高和封装的难度增加。因此，在不影响系统性能的情况下，降 低功率消耗是低功耗研究的目标。 针对基于嵌入式系统设计的视频监控系统，由于主要靠电池来供电，功 1 0 哈尔滨工程大学硕士学位论文 耗是设计中应重点关注的问题，所以应该在设计的初级阶段，应该把低功耗 做为嵌入式设备设计的重要指标，在实现嵌入式设备的基本功能同时，低功 耗的协同设计是不可忽略的重要因素。针对嵌入式系统由硬件和软件两部分 组成，系统低功耗设计可以从这两方面考虑。 2 3 2 硬件低功耗设计技术 硬件低功耗设计有很多方法，如选择低功耗的电路形式，分区分时供电 技术，动态电源调节技术等。 选择低功耗的电路形式。是在实现系统功能前提下，尽量从降低系统功 耗的角度来设计的电路。硬件电路功耗主要来源于元器件，所以越少使用元 器件的数量，系统的功耗就越低。因此，尽量使用集成度高的器件，减少电 路中使用的元件的个数，减少系统整体的消耗。 分区分时供电技术。嵌入式系统的所有模块并非时刻都在全速工作，故 可以采取分区分时供电技术。原理是利用某个类似于开关的装置控制电源供 电模块，当电路的某一部分处于休眠状态时，关闭其供电电源，而其他工作 电路则保留工作部分的电源，继续工作，避免不必要的电源浪费。 动态电源调节技术。即处理器能够根据当前系统的运行状况进行模式切 换，实现智能化。因为电路的功耗跟电压和频率有很大关系，电压和频率的 增大，会导致电路功耗的提高。嵌入式系统中，处理器的功耗占很大一部分， 所以降低系统功耗可以从调整处理器的电压和频率入手，处理器根据系统的 运行状态，当进行处理任务时，可以适当的提高电压和频率，如果处于待机 状态，则降低电压和频率，避免产生不必要的功耗。具有动态电源调节技术 的处理器应该有多种工作模式，当系统使用外来接电源时，c p u 可以按当前 最高的频率和电压进行工作，当系统改使用电池供电时，c p u 切换工作模式， 降低工作频率和电压。目前在处理器的电源管理方面，各大公司都推出了自 己的技术，如：i n t e l 公司采取了s p c c d s t c p 技术，a m d 公司采取了p o w c r l o w 技术以及t r a n s m c t a 公司采取了l o n g r u n 技术。 哈尔滨工程大学硕士学位论文 2 3 3 软件低功耗设计技术 软件低功耗设计可以采用软件代码优化、以效果换取效率、选择合适算 法等方式。 软件代码优化方式应用比较广泛，它通过尽量缩短代码长度，改写代码 和减少指令执行时间等，实现代码执行时间的优化。例如，对代码进行时间 评估，找到对性能影响较大的代码段，用线性汇编重新写这段代码。使用内 联函数代替复杂代码。展开代码循环，将多循环变为少循环，通过消除冗余 循环的方式来提高代码的执行效率，尽可能用多位的指令来访问少位的数据。 比如使用3 2 位i n t 型指令去访问2 个1 6 位s h o r t 数据，将其分别放在3 2 位寄 存器的高1 6 位和低1 6 位字段，从而提高一倍的指令执行时间h i 。 以效果换取效率是在视频监控时，为了减少数据处理时间，在进行图像 数据处理时，可以采取降低视频数据采样率来减少处理时间，例如由原先采 集高分辨率图像d 1 ( 7 2 0 x 5 7 6 ) 改为c i f ( 3 5 2 x 2 8 8 ) ，使得数据的处理量减少了 一半，缩短处理器处理数据时间。由于嵌入式处理器运算速度有限，高分辨 率的视频数据必然会增加数据量，影响着系统性能，所以可以为了保证系统 的性能，可以通过降低图像视频分辨率，来实现降低系统功耗。 视频编码算法复杂性影响着系统的功耗。虽然编码器配置越高，视频编 码的效果越好，但会加重嵌入式处理器负荷，所以可以考虑低层次的视频编 码器的配置。视频压缩算法中一些重要函数时间影响算法执行时间，例如， m p e g 一4 算法中的d c t 、i d c t 变换以及运动估计等需要很大运算量，影响 着编码算法的总运算量，可以针对这些函数，考虑选择适合的最佳快速算法， 同时还可以对这些计算量大的算法，进行针对平台的优化，例如采用嵌入式 汇编指令、与平台相关的库等。 2 4 本章小结 本章第一部分介绍了视频编码标准，并分析比较不同嵌入式系统所适合 采用的标准。第二部分介绍了流媒体技术实现原理，以及视频实时传输协议 r t p 和r t c p 。第三部分研究嵌入式系统低功耗设计的必要性以及相关技术。 1 2 哈尔滨工程大学硕士学位论文 第3 章嵌入式网络视频监控系统方案设计 3 1 基于低功耗的系统总体设计 3 1 1 系统功耗分析 由于数字电路中的功耗主要包括短路功耗、静态功耗和动态功耗。短路 功耗的产生，跟电路中的输入电压上升和下降有关，当电路中输入电压发生 变化，一个周期内产生的短路功消耗公式n 町为： p = 厂( 屹+ 一) j ( + 乞) 2 ( 3 1 ) 是n m o s 的门限电压，圪是p m o s 的门限电压，当输a c g w 处于和 - i 吃i 之间时，到地之间的n m o s 和p m o s 晶体管电路导通，产生短 路电流，导致产生短路功耗。然而一般来说短路功耗很少，约占系统功耗的 1 0 到3 0 ，当 f d = o p e n ( ”d e v v 4 1 v i d e 0 0 , 0打开摄像头设备文件，fdrdwr) 是设备打开后返回的文件描述符( 打开错误返回1 ) ，以后的系统调用函数 就可使用它来对设备文件进行操作了。 ( 2 ) 读取设备和影像信息。 打开摄像头设备文件后，首先要向摄像头设备发送命令来获取设备信息， 用户空间程序利用i o e t l ( v d f d ，v i d i o c g c a p ，& ( v d c a p a b i l i t y ) ) 获取设备 哈尔滨工程大学硕士学位论文 文件的信息，并将取得的信息放到v d c a p a b i l i t y q ，取得设备信后，还要再 取得影像支持信息( 摄像头设备所采集的影像格式) ，调用函数读取影像信息 i o c t l ( v d 一 f d ，v i d i o c g p i c t ，& ( v d - p i c t u r e ) ) ，放入v d 一 p i c t u r e q b 。 ( 3 ) 视频截取。 把视频文件映射到内存之后就可以进行视频图像的截取，由对摄像头存 储缓冲区采集帧数的测试，得知本摄像头进行视频采集时最多支持的帧数为 两帧，所以每次循环采集帧数最多为两帧，v i d c o m b u f o f f s c t s 指定每帧的偏移 地址，当开始截取视频，可以通过调用i o c t l ( v d - f d , v i d i o c m c a p l r i 瓜e ， & ( v d v m m a p ) ) 实现视频截取， ( 4 ) 关闭设备，调用c l o s e ( v d - f d ) 。 n c 习 打开视频设备 上 利用d i o g c a p 和v i d i o c g p l c t 获取摄像头和图像的相关信息 图4 1 视频采集流程图 哈尔滨工程大学硕士学位论文 4 2 视频图像截取的优化设计 4 2 1 直接读取与内存映射 l i n u x 空间分为用户空间和内核空间两部分，应用程序运行在用户空间， 系统级的一些进程，运行于内核空间，它们各自运行在不同级别，应用程序 进程不允许访问内核，一般通过系统调用函数，访问内核空间，使用系统提 供给用户一些类似于设备管理、文件控制、内存管理、进程管理的有关功能， 从而实现用户不必了解具体的内部结构和有关硬件细节，就可以利用系统资 源，减轻程序开发负担。如图4 2 内核和应用程序之间的接口是系统调用，系 统内核和外设之间的接口是设备驱动程序嘲。用户对文件的操作，是通过内 核、驱动程序与设备进行通信。用户在应用程序中访问设备文件时，通过系 统调用函数，进入内核，内核将访问权力交给驱动程序，最后由驱动程序采 用具体的设备操作函数完成对设备的访问。 图4 2 用户空间和内核空间 一般情况下，l i n u x 应用程序读取设备文件时，是通过系统调用函数r e a d o 直接读取方式来完成的，驱动程序函数将读取数据拷贝到内核，然后内核再 拷贝给用户，数据最后传给用户时要经过二次拷贝，采用这种拷贝的方法， 会增加处理器读取数据的时间开销。另外一种是采用m m a p o 内存映射方式， 哈尔滨工程大学硕士学位论文 通过把设备文件映射到用户空间内存中，使进程可以像访问普通内存一样对 文件进行访问，访问时只需要使用指针而不用调用r e a d ( ) 文件操作函数，这种 方式可以直接读取设备数据，大大减少拷贝数据的额外开销，同时还会使进 程之间通过映射同一文件实现共享内存，但是会占用一部分用户空间内存。 经过比较分析，这里选用内存映射方式，实现对视频数据的读取。对视 频数据来说，频繁地从外部存储器到内核空间再到用户空间的二次拷贝，必 然会影响系统读取视频时间，产生不必要系统消耗。m m a p 0 方式是现在操作 系统所具有的新特征。如图4 3 所示，读取视频数据时，m m a p 0 方式绕过了内 核缓冲区，加快了视频数据的读取速度，节省了读取时间。同时当处理器访 问数据时，离c p u 越近的地方，数据存取速度越快，系统的i o 功耗越低。 用户空问 内核空问 外部存储器 嬲l * n m a p 0 图4 3m m a p 0 方式- 与r e a d 0 方式 4 2 2 内存映射具体实现 内存映射实现主要是将摄像头设备文件映射到用户内存中，使用户程序 可以像访问普通内存一样，对摄像头设备文件进行直接访问。内存映射所用 的到的主要函数是： m m a p ( v o i d s t a r t ，s i z etl e n g t h ，i n tp r o t ，h a tf l a g s ，i n tf d ，o f fto f f s e t ) s t a r t 指向表示共享内存的起始地址，一般系统从0 开始；l e n g t h 表示将多 大长度的文件映射到内存，f d 是文件描述符，o f f s e t 所映射文件头开始处的偏 移量，p r o t 映射后地址权限，包含： p r o te x e c ：映射区可被执行 p r o tr e a d ：可读取该映射区 p r o tw r i t e ：映射区可被写入 哈尔滨工程大学硕士学位论文 ；暑；宣；暑暑暑暑暑暑宣昌昌置暑叠暑宣置宣宣置i iitii i 一昌昌宣宣暑置昌置宣葺暑暑置葺i 宣暑宣宣 p r o tn o n e ：映射区不能存取 f l a g s 表示映射区的特性，包含： m a ps h a r e d ：对映射区域的写入数据会复制回文件，且允许其他映射 该文件的进程共享。 m a pp r i v a t e ：对映射区域的写入操作会产生一个映射的复制，对此区 域所做的修改不会写回原文件。 m m a p o 内存映射步骤如下： ( 1 ) 获得摄像头存储缓冲区的帧信息。调用i o c t l 函数，可以获知摄像头存储 缓冲区的大d 、v d - v i d e o m b u f s i z e ，以及最多支持的帧数 v d v i d e o m b u f f r a m e 。 ( 2 ) 设置新映射空间的属性。修改v d m m a p 中的设置，例如重新设置图像 帧的垂直及水平分辨率、彩色显示格式。可利用如下语句 v d 一 m m a p h e i g h t 2 4 0 ； v d - m m a p w i d t h = 3 2 0 ； v d 一 m m a p f o r m a t = v i d e o _ p a l e t t e _ r g b 2 4 ； ( 3 ) 最后，将摄像头设备文件映射到用户空间内存中。m m a p 函数失败时返 回1 ，成功时返回由指针v d p f r a m c b u 衔所指向的映