（通信与信息系统专业论文）基于h264与fpga的网络监控系统的研究与实现.pdf

基于h 2 6 4 与f p g a 的网络监控系统的研究与实现 ；宣葛焉；昌置；暑宣i 毒薯暑暑；宣罩眚罱暑；吝暑高置高葺苗；罱昌宣；宣葺；置宣篇i ；葛i ；昌置暑；i 置 摘要 根据国内外监控系统的发展趋势，本文提出了一种基- 于f p g a 与h 2 6 4 的网络监控 系统的实现方案。 以f p g a 为核心的嵌入式终端c p u 、p c 机客户端与网络连接设备是本网络视频监 控系统的主要组成部分。嵌入式图像服务器采集实时图像并且根据h 2 6 4 编码算法对图 像进行压缩，同时监听网络。远端的p c 机客户可通过网络远程访问服务器，接收图像 视频并显示，能高效地掌握现场情况。 本文提出了用硬件描述语言实现h 2 6 4 压缩编码的解决方案以改进h 2 6 4 算法运算 复杂的缺点。文中详细阐述了帧内预测、d c t 变换和量化以及c a v l c 熵编码模块的原 理与硬件设计。提出了改进帧内预测的新算法，保证性能的同时大大减小了算法的复杂 度。 嵌入式图像服务器中的图像视频采集控制和网络传输是x 2 n i o si i 核架构完成的。 图像采集使用1 3 0 万像素的c m o s 图像传感器o v 9 6 5 0 。为运行调度多任务，选用 “c o s i i 操作系统。使用轻量i p 协议来完成图像数据的网络传输。摄像头采集到的 图像视频数据数据量大，不能直接进行网络传输，需要先经高效视频压缩标准h 2 6 4 进 行压缩，减小数据量并增加网络亲和性。 网络终端可以通过i p 地址远程访问嵌入式图像服务器并开启图像传输。本文详细 描述了如何完成以下工作：对支持l w i p 协议栈的p c o s i i 操作系统进行移植和编程、 定制a v a l o n 总线型视频采集接口电路、双n i o si i 系统的内存共享以及两个n i o si i 核 的协调与同步。本系统的验证平台选用a l t e r a 提供的n i o si i 开发试验箱。 本系统视频压缩率高，监控图像清晰，系统软硬件协同设计与图像编码硬件实现算 法成功。本系统具有低成本、良好的扩展性以及较广的适用范围等优点，有非常好的发 展前景。 关键词：f p g a ；网络监控；图像采集；双n i o si i 核 ；型垡尘坠些丝些垂丝丝堡塑二一 ；i ；置葺i ；i 昌置昌i i 昌i 宣i ；i i 葺i 暑墨i 葺i 葺i 篁墨宣置；置i i 。一 a b s t r a c t t h i sp a p e rp r e s e n t sas o l u t i o nt ot h en e t w o r ks u r v e i l l a n c es y s t e mb a s e do n f p g aa n d h 2 6 4a c c o r d i n gt ot h ed e v e l o p m e n ti nt h i sf i e l dh o m ea n da b r o a d t h en e t w o r ks u r v e i l l a n c es y s t e mi sm a i n l yb a s e do ne m b e d d e dc p uw h o s ec o r ei s f p g a 、p ca n dn e t w o r kd e v i c e s r e a l t i m ei m a g ei sc o l l e c t e da n dc o m p r e s s e d b ye m b e d d e d c p u p cc a l lg e ta c c e s st ot h ei m a g es e r v e rb yn e t w o r k ，r e c e i v i n ga n dd i s p l a y i n gt h ei m a g e i no r d e rt oi m p r o v et h eh 2 6 4a l g o r i t h m ，t h i sp a p e ru s e sh a r d w a r ed e s c r i b el a n g u a g et o r e a l i z et h ec o m p r e s s i o no ft h ei m a g e i n t r af r a m ep r e d i c t i o n 、d c ta n dq u a n t i z a t i o na n d c a v l ca r ed e s c r i b e di nt h i sp a p e r an e wi n t r a - p r e d i c t i o na l g o r i t h mi sp r o p o s e da n di t g r e a t l yr e d u c e sc o m p u t a t i o nc o m p l e x i t y i m a g ev e d i oc o l l e c t i n gm a dn e t w o r kt r a n s m i s s i o na r ea c h i e v e db yd u a ln i o s i ii nt h e e m b e d d e dc p u i m a g ev e d i o ! i sc o l l e c t e db yc m o si m a g es e n s o ro v 9 6 5 0w i t h1 3m i l l i o n p i x e l s i no r d e rt oa c h i e v em u l t i t a s km a n a g e m e n ta n dn e t w o r kt r a n s m i s s i o n ，t h i sp a p e r u s e s p c o s i ia n dl w i p t oa c c o m p l i s ht h ed e s i g n t h er a wi m a g ed a t aa r es ob i gt h a ti tc a n n o tb et r a n s m i t t e dd i r e c t l y s ot h e ym u s tb ec o m p r e s s e db yh 2 6 4t or e d u c et h ed a t aq u a n t i t y a n di n c r e a s et h en e t w o r kt r a n s m i s s i o na b i l i t y t h en e t w o r kt e r m i n a l sc a na c c e s st ot h ee m b e d d e dc p ub yv i s i t i n gt h ei pa d d r e s s t h e j o bh a sd o n e i nt h i sp a p e ri n c l u d e s ：t r a n s p l a n t i n ga n dp r o g r a m m i n gt h ep r o g r a m so f p c o s i is u p p o r t i n gl w i f 。、s e l f - m a k i n go ft h ei n t e r f a c ec i r c u i to f v e d i oc o l l e c t i n g 、t h e s h a r ea n dc o o r d i n a t i o no fd u a ln i o si ic o r e t h i sd e s i g ni sb a s e do ne x p e f i m e n t mb o x p r o v i d e db ya l t e r a t h i ss y s t e ma c h i e v e sg r e a ts u c c e s si ns u c hf i e l d s ，i n c l u d i n g ：c o m p r e s s i o nr a t e 、t h e h i g h d e f i n i t i o ni m a g ea n dc o o r d i n a t i o nb e t w e e nh a r d w a r ec o r ea n ds o f t w a r ec o r e t h i sd e s i g n h a sg r e a tp r o s p e c t i v ew i t ht h el o wb u d g e ta n dw i d ea p p l i c a t i o nf i e l d s k e yw o r d s ：f p g a ；n e t w o r ks m w e i l l a n c e ；i m a g ec a p t u r e ；d u a ln i o si ip r o c e s s o r s 第1 章绪论 第1 章绪论 1 1 研究背景与意义 随着科技的迅猛发展以及日益提高的公共安全保障需求，视频监控系统在工业与生 活中的使用越来越普遍。网络监控系统能够实时采集现场视频数据并且通过高效的压缩 编码算法对图像进行压缩然后通过网络实时地将编码图像传送出去。处于远程监控端的 人员只需在网络的任一节点接入就可实时掌握现场情况而不必待在特定的监控室内，这 给用户的带来了很大的方便。 嵌入式系统具有灵活性的结构，在实际应用中能够出色完成非常复杂的任务【l 】。嵌 入式系统充当网络监控系统的关键组成部分已成为业界公认的发展形势。基于现场可编 程门阵y t j ( f p g a ) 的s o p c 系统具有许多突出特点：高集成度、良好的实时性、体积小、 低功耗以及维护与升级方便，现已成为电子信息方面的潮流。 因为实时采集到的视频具有数据量大的特点，直接通过网络进行传输的话会降低系 统的效率，所以需要对视频进行高效率的压缩编码。因此，实现网络视频监控系统的关 键就是通过有效的压缩编码算法，在能接受的信号损失情况下用尽量少的b i t 来传送原 始图像【2 | 。 i t u tv c e g 和i s o i e cm p e g 联合组成的j v t 开发了最新一代的视频压缩编码标 准h 2 6 4 3 1 。充分结合了现存在的编码技术的优点，采用“回归基本”的简洁思想，不使 用过多的选项并且在众多方面都做了改进。同时采用“网络友好”的思想与结构，增强在 各种信道中的适应能力。能更好地处理误码以及丢包等引起通讯障碍的现象。因此在解 析度、速率以及传输存储要求高的场合，h 2 6 4 有着很广的应用范围。 1 2 国内外研究现状 i 2 1 视频监控系统的发展 随着科学技术的发展，监控系统发展迅速，大体可分为三个阶段 4 1 ： 第一代在1 9 9 0 年左右以及以前。主要的设备都是以模拟为主的闭路电视。模拟监 控系统的视频信号受传输距离所限，通常只能用于范围较小的区域监控，并且无法组网 监控，只能使用点对点的监控方式。基于以上原因，其布线量极大，局限性非常明显【5 1 。 第二代处于2 0 世纪9 0 年代中期。较第一代的视频监控系统在视频质量以及传输速 度方面有了很大的提高。使用p c 机对视频数据处理，加快了处理速度。 哈尔滨工程大学硕士学位论文 缺点是视频数据仍为模拟信号，这就限制了视频的快速传输与系统扩展【6 】。 第三代视频监控系统出现于2 0 世纪9 0 年代末，随着网络技术的迅速发展、嵌入式 技术的广泛应用以及计算机处理速度与存储容量的快速提升，数字化得到普遍应用【7 】。 实现了以i p 网络为依托，融合了图像压缩编码以及传输存储等数字方案，监控范围也 由小规模短距离监控扩大到大规模超远距离。网络视频监控以嵌入式技术、高彭：视频压 缩技术以及网络传输技术为关键技术，在功耗、可扩展性、稳定性、传输速率、性价比 以，及处理能力方面都有着前两代监控技术不能比拟的优势【8 】。 1 2 2 图像编码标准的发展 国际电话电报咨询委员会( i n t e m a t i o n a lt e l e p h o n e a n dt e l e g r a p hc o m , u l t a t i v e c o m m i t t e ec c i t t ，即i t u t ) 在1 9 8 8 年制定了h 2 6 1 标准，h 2 6 1 的传输码率为6 4 k b i t s ， 可以用于低速率要求的可视电话和可视会议。 i s om p e g 在h 2 6 1 标准完成之后，在1 9 9 1 年1 1 月和1 9 9 3 年1 1 月分瓢完成了 m p e g 1 【9 1 和m p e g 2 t 1 0 1 标准，这两项标准逐渐成为国际通用标准。 m p e g 一1 与h 2 6 1 相似。m p e g 一2 的性能比m p e g 一1 要好一些，为增强环境的适 应性，增加了帧编码和场编码等新技术。 i t u t 制定的h 2 6 3 标准在1 9 9 5 年正式成为了国际标准【1 1 1 ，在此基础上1 1 u t 又 制定了两项发展计划：将h 2 6 3 + 和h 2 6 3 + + 作为短期规划，主要提供功能扩展选项、差 错反馈机制以及高性能的压缩比；将h 2 6 3 l 作为长期规划，主要用于低码流视频通信， 并于1 9 9 8 年被更名为h 2 6 l 1 2 j 。 为开发出新的视频编码标准，i t u t 与i s o 在2 0 0 1 年1 1 月组成联合：见频组 ( j o i mv i d e ot e a m ，t ) 。其目标是不但能实质性提高压缩效率，并且能运用于带宽 受限或者存储能力差的场合【l3 1 。2 0 0 3 年，编码标准诞生。h 2 6 4 是当前功能最强大和 先进的视频压缩编码技术。在h 2 6 4 的压缩效率、算法的复杂度以及硬件的实珊困难度 方面，业界一直在努力使以上因素达到有效的平衡u 引。 1 3 研究内容与技术特点 本课题主要研究的内容为：根据当前图像压缩编码标准h 2 6 4 的发展现状，设计能 高效实现的硬件算法。使用基于f p g a 的嵌入式系统设计方案，结合相关外部设备，设 计以n i o si i ! 处理器为核心的片上可编程系统，实现视频图像采集、压缩编码以及网络 传输功能。同时设计远端p c 机上位机程序，使监控人员可在任意网络端点远程访问图 2 第l 章绪论 像服务器，接收视频数据并掌握现场情况。 研究内容主要包括： 根据本课题的要求以及当前视频监控系统的发展，充分了解视频编码算法的特 点，对网络监控系统进行整体规划。 综合所需的外部设备接口和功能模块，以n i o si i 处理器为核心，设计了基于f p g a 的片上可编程系统，并且完成定制与连接。实现在一块f p g a 芯片内部使用两个软核处 理器来完成图像采集与传输任务。处理器间通过共享资源交换信息，实现双c p u 的并 行处理与协同工作，显著提升系统工作效率。 综合分析图像采集模块o v 9 6 5 0 的时序特征，使用v h d l 语言设计视频采集模块。 能实时无失真地采集现场视频图像。并将采集模块作为自定义模块添加到片上可编程系 统中。 在n i o si ii d e 中完成视频图像的采集控制、双核c p u 的协调运作以及系统的管 理。 查阅中英文技术资料，深入探究h 2 6 4 压缩标准，结合硬件实现平台与网络监控 的特点，完成帧内预测的设计、d c t 变换与量化以及c a v l c 熵编码的硬件实现，完成 视频图像的高效压缩。 完成帧内预测算法的改进，在保证良好性能的同时大幅度减少帧内预测的计算量 与复杂度。 设计远端p c 机软件，将嵌入式图像服务器与p c 机接入网络进行测试。 1 4 论文的组织结构 论文的组织结构如下： 第一章：绪论，简要讲述了本论文研究的目的及意义，三代监控系统的发展历程与 视频编解码标准的制定，最后介绍了该课题的六项主要研究内容以及本文的组织结构。 第二章：进行了方案的选择工作，通过比较，以性价比和升级难易度为标准，确定 选用以f p g a 与s o p c 为基本框架的视频监控系统。最后给出了总体方案与主要模块的 功能。 第三章：详细介绍了驱动摄像头o v 9 6 5 0 的驱动以及图像数据流的控制，并讲述了 如何在s o p c 中封装自定义的i p 核。 第四章：详细介绍了帧内预测、d c t 变换与量化以及c a v l c 熵编码等的设计方案 并给出了功能仿真图。提出了一种新的帧内预测算法，大幅度减小了算法复杂度。 3 哈尔滨工程大学硕士学位论文 第五章：介绍了d m a 传输以及移植p c o s i i 操作系统与轻量i p 的过程，数据流 的封装与网络传送，通过s o p c 系统的搭建，完成了双核系统的稳定运行。 第六章：最后介绍在p c 机客户端如何对接收到的压缩码流进行解码以及如何使用 d i r e c t s h o w 来设计操作界面，给出了系统的实际运行结果。 总结部分，首先概要阐述了本设计取得的技术成果，然后指出了该系统的缺陷并给 出了相应的改进方向。 4 第2 章系统总体设计 ；置篁置宣薯置；高昌；叠皇罱暑；i 昌i 音音葺击i 篁i 暑暑罱i 宣蔷高；罱i 置；i 宣罱置i 皇置暑；高薯 第2 章系统总体设计 该文设计的视频监控系统能够达到良好的监控质量。系统主要包括5 部分：摄像 o v 9 6 5 0 、图像采集接口模块、图像压缩模块、网络接口模块以及远端的p c 机客户 端。摄像头o v 9 6 5 0 采集到视频数据后，在系统协调模块的驱动下，将视频数据通过压 缩编码模块进行处理得到压缩码流，压缩码流通过网络传输至p c 机客户端，p c 机接收 到图像数据流后对图像解码显示。以上是一个完整的网络监控系统。如图2 1 所示。 服务器端 因特网 摄像头 卜 图像采集r 、视频压缩八网络接口 l 卜 客户端 o v 9 6 5 0 y 接口 模块 叫 模块 v 彳 l 系统协调模块 图2 1 系统设计图 2 1 图像采集嵌入式服务器方案选择 高速视频图像采集、图像压缩编码以及网络传输是一个完整的图像采集嵌入式服务 器所必须拥有的。一般的压缩编码算法都比较复杂，硬件实现时需要核心c p u 具备较 快的运算速度，并且需要将压缩数据流进行网络传输，因为网络协议十分复杂，需要启 用多线程，所以需要能够将操作系统移植到处理器上。综上所述，本设计提出了三种解 决方案。 方案一：d s p + a r m 数字信号处理器( d s p ) 能够用很快的速度完成复杂的算法，具有强大的数据处理能 力，a r m 在此方案中主要起控制作用与完成网络传输。两者各自发挥自己所长，实现 图像数据的压缩与网络传输。同时，一般的d s p 操作软件都带有软件开发包，能很大 程度地降低编程者的工作量。成熟的设计包括华为海思的h i 3 5 1 0 1 1 5 】和美信公司的达芬 奇系列【1 6 】。这种方案能较好的完成任务要求，但需要两种芯片，价格较贵，不适合低端 用户，并且不利于转变为硬件a s i c ，限制了该方案的发展。 方案二：a r m + a s i c 这种方案使用a s i c 完成运算量巨大的编码部分，a r m t l 7 】的作用与方案一相同，控 制并完成网络传输。a s i c 1 8 l 的优点是运算速度快，能很好地完成h 2 6 4 的编码工作。 5 哈尔滨工程大学硕士学位论文 。i 。i i i ；薯i 宣罱宣葺昌宣置昌宣i i 宣i 昌；i 宣置i ；昌；葺；宣；i ；暑暑暑高；i 皇每宣薯；薯i 暑奄i 葺 同时，结合a r m 这一强大的处理器，既能很好的完成监控任务，价格又能为低端用户 所接受。但这种方案的缺点是升级换代十分困难，需要更换a s i c 芯片，增加了巨大的 维护成本【19 1 。 方案三：基于s o p c 的f p g a 解决方案 f p g a 2 0 】f 内运算速度要比a s i c 慢，并且要消耗更多的电能，但f p g a 的优点是能 够快速地完成设计，减小产品的升级换代时间与成本。图像压缩编码算法可以眭f p g a 使用硬件描述语言来完成，具有较快的运行速度f 2 1 】。使用s o p c i 2 2 1 技术，在f p g a 上加 入n i o si i 处j 里器，移植操作系统，支持网络协议，能很好地完成编码数据流的网络传 输【2 3 1 。这种方案使用一个芯片就能完成上述方案一与方案二中两种芯片的功能，并且可 以将成熟的方：案封装成i p 核【2 4 1 ，处理速度快并且升级容易，既适合用户使用又戚小维 护成本。 综上所述，本文嵌入式图像服务器选择使用基于s o p c 的f p g a 解决方案。 2 2s o p c 系统开发流程 s o p c 的设计包括以n i o si i 软核处理器为核心的的嵌入式系统的硬件配置、硬件 设计、硬件仿真、集成编译环境的设置以及软件方面的调试等方面。要完成s o p c 系统 的设计需要使用多种软件工具： ( 1 ) q u a r t u si i ：完成n i o si i 系统的分析与综合、硬件优化、配置文件的编程与下载 以及系统的整体测试等； ( 2 ) s o p cb u i l d e r ：用于实现n i o si i 系统的配置与生成以及与n i o si i 系统才| 关的 软件调试平台的生成，它是软核处理器的开发包； ( 3 ) m o d e l s i m ：该软件用于对s o p cb u i l d e r 生成的硬件描述语言进行系统功能仿 真，查找程序的设计疏漏； ( 4 ) m a t l a b d s pb u i l d e r ：这两个软件用于生成s o p c 系统的硬件加速器，加速系统 的运行速度，定制系统新的指令； ( 5 ) n i o si ii d e ：完成n i o si i 系统的软件调试与开发，通过自带的f l a s h 编程器完 成对系统f l a s h 与e p c s 的编程操作。除此之外，它还包括一个指令集成模拟器、实时 操作系统以及一个微型网络协议栈。 s o p c 的系统开发流程通常包括两个方面：q u a r t u si i 与s o p cb u i l d e r 中的硬件设计 以及n i o si d e 中的软件设计。对于比较简答的系统，一个人便可以完成所有的设计操 作，对于比较复杂的系统，硬件与软件的设计需要分开进行。 6 第2 章系统总体设计 i ；宣i 暑i i 暑i ；裔暑暑置宣暑；暑i ；暑宣i ；叠i 眚i 罩；i 昌昌i s o p c 系统的开发流程如下： ( 1 ) 在进行s o p c 系统开发之前，需要明确系统的需求，如系统需要的计算性能、 带宽和吞吐量、接口的类型以及多线程的需要情况等。完整的s o p c 系统是软件与硬件 相结合的产物，但在实际的系统设计中，有时候既可以用软件来实现也可以用硬件来实 现。具体使用何种实现方式需要视具体对系统的要求而定。一般情况下，软件实现时， 系统上容易修改，查错也比较容易，也不占用过多的逻辑资源，但执行速度较慢。所以， 在满足系统性能要求的情况下，优先选用软件实现。 ( 2 ) 每一个开发过程都应建立一个工程，q u a r t u si i 是以工程的方式对设计过程进行 管理的。在工程中建立顶层模块文件，将系统各个模块整合在一起进行编译。这个项层 文件相当于电路设计中的电路板。 ( 3 ) 可以在s o p cb u i l d e r 中添加系统所需要的各种功能模块，所有的功能模块组成 整体的系统模块。在系统需要时还可以添加用户自己定制的模块与指令。系统生成的最 终模块相当于一个a r m 处理器。 图2 2s o p c 系统的开发流程 ( 4 ) 在系统设计需要时可以使用a l t e r a 公司提供的l p m 模块。q u a r t u si i 包含了大量 的类似模块，这些模块可以：太大地加快系统的开发速度。只有很少的模块需要用户从零 开始设计。 ( 5 ) 在系统需要时可以添加自己的功能模块。可以使用硬件描述语言或者原理图的输 入方法来设计自己的功能模块。在设计自己的功能模块时，可以作为一个独立的工程来 7 哈尔滨工程大学硕士学位论文 ；i ；i ；i i ；i ；宣；i ；i i ；i ；i 暑i 宣i ；i i ；i ；i ；i ；宣；i ；i ；赢i i ；眚i 置；i ；i 罱；眚；宣i 高宣= 眚薯i i 每i i 设计，并且生成相应的符号文件，这样在顶层的设计中就可以使用自己定义的符号文件 了。， ( 6 ) 在顶层模块中将s o p cb u i l d e r 生成的模块、l p m 模块以及自己设计的模块添加 进来，然后将各个模块连接起来组成系统的功能原理图。 ( 7 ) 分配引脚，编译系统，下载配置文件。 ( 8 ) 使用n i o si ii d e 系统进行软件开发。 s o p c 系统的开发流程如图2 2 所示。 2 3 监控系统设计 监控系统：最主要两个部分是嵌入式图像服务器和p c 机客户端。本次设计使厍a l t e r a 公司提供的n i o si i 试验箱作为图像嵌入式服务端。该试验箱的f p g a 是s t r a t i x 【i 系列 的e p 2 s 6 0 。p c , 机客户端是网络上的任何一台计算机。网络系统的整体实现原理如图2 3 所示。 图2 3 监控系统实现原理图 如原理图所示，嵌入式图像服务端是由两个n i o si ic p u 构建起的s o p c 系统组成 的，其中视频的采集与存储是由图像采集c p u 完成的，网络传输是由网络传输c p l t 完成 的，互斥核用于协调两个处理器对资源的共享。双处理器架构大大提升了处理效率，能 够使视频采集与网络传输两大任务并行进行。本设计使n i o si i 软核与硬件i p 核了云分发 8 第2 章系统总体设计 挥各自的优势，两者分工协作、优化组合，最大程度地发挥s o p c 的优势，用单芯片实 现系统整体设计。 嵌入式图像服务端的图像采集模块是用硬件描述语言编写的高速图像接口。该接口 负责对摄像头o v 9 6 5 0 进行驱动，将采集到的每一行图像数据放到片上r a m 中。将此 模块定制为系统的i p 核，作：勾a v a l o n 总线的一个外部元件来使用。编码后的数据需 要经过网络传送出去，f p g a 中使用的处理器是双n i o si i 核，移植p c o s i i 操作系 统与轻量i p 协议栈，完成网络传输功能。 系统还加入了本地液晶屏驱动模块，将摄像头采集到的数据显示出来，为系统本地 验证，驱动程序使用v h d l 实现。 在借助d i r e c t s h o wx 一炙_ - - 强大流媒体处理工具的同时【2 5 1 ，p c 机客户端监控界面 程序用v c + + 编写。嵌入式图像服务器端与客户机端的通信通过网络进行，遵循t c p i p 协议。 2 4 本章小结 本章首先对三种方案进行了比较，跟据不同方案的特点与实现的难以程度选择了基 于s o p c 方案。简要论述了本设计的总体框架并给出了部分模块的设计思路。 9 哈尔滨工程大学硕士学位论文 ；互暑；置宣i 写宣宣宣；i i i ；宣i 互昌；宣；i i 宣；宣；蛊；暑i ；鲁宣i i ；高i i ；i 宣；i 宣；宣i ；i ；音i i ；宣i 昌 第3 章视频采集弟j 早恍姒术粜 3 1 图像采集设计 能够进行图像处理与传输的前提是图像采集，因此采集到的数字图像的质量会较大 程度地影响处理的最终结果。同时，整个监控系统的综合性能指标也与采集过程的可靠 性及实时性有很大关系。 图像采集系统如图3 1 。 s c c bc 1 s c c bd 参数l 、a i t e r as 仃a t i x i i 1 p w n d 设置l e p 2 $ 6 0 接口i c m o s c l k 行中断j p f n 格口1 图像 1 u 1 宴u p模拟s c c b 传感器 p c l k 时序初始化 o v 9 6 5 0 h r e f c l k o u t 。 o v 9 6 5 0 图像 v s y n c采集 w r i t e e n 7 图像 螂 响应行中断 l j计算内存偏 r 移地址 d a t a l 7 0 1 w r i t e a d d r e s s 缓存 双口 乏 接口 r a m w r i t e d a t a 31 0 1 双口l j r a m r _ t控制器 a v a l o n 从接口 a d d r e s s 启动d m a f 、 ：d a t a 3 1 ，0 】 进行数据传 送 图像存储 r es r a m d m a 外部 1 控制器 控制器 s r a m w e 1 n i o sl i 软核 0 e 处理器 图3 1 图像采集模块 图像采集模块是图像服务端的重要组成部分，该模块的设计主要包括对 图像传感器的驱动与图像数据的接收两大部分。其中驱动部分是通过s c c b 时序完成的 1 2 6 ，f p g a 中的n i o si i 处理器使用c 语言编程赋予其功能。配置好o v 9 6 5 0 的：寻存器 后，数据线上会输出相应规格的图像数据，先将一行的数据存放到片上双口r a m 中暂 存起来，在行消隐阶段通过d m a 传输将数据送入片外s r a m 中去，为编码做准备。 3 2o v 9 6 5 0 原理与驱动 3 2 1 图像传感器 图像需经过图像传感器进行采集，本文选用1 3 0 万像素的o v 9 6 5 0 。该器件是由 o m n i v i s i o n 公司生产的口7 1 ，其最高像素可达1 3 0 万。o v 9 6 5 0 向下兼容，支持输出q q c i f 、 q c i f 、c i f 、q q v g a 、q v g a 、v g a 、s x g a 等制式的图像。o v 9 6 5 0 支持多种图像格 式如y c r c b ( 4 ：2 ：2 ) 、原始r g b 、y u v ( 4 ：2 ：2 ) 等。在1 3 0 万像素格式下最大可达到1 5 1 0 第3 章视频采集 帧秒，在3 0 万像素格式下的可以达到3 0 帧秒。 伽马校正、亮度和对比度调节、自动白平衡、自动增益控制、曝光调节、图像处理 模式等功能是由o v 9 6 5 0 通过s c c b 时序设置各寄存器来完成的【2 8 1 。 3 2 2o v 9 6 5 0 的数据与时序 ( 1 ) 数据 一 图像传感器o v 9 6 5 0 的内部有一个i o 的模数转换器将模拟视频信号转换为我们需 要的数字信号。此时的信号为原始信号，可以直接从o v 9 6 5 0 的引脚输出。当用户需要 其他格式数据时，芯片内置的d s p 会对原始数据进行转换【1 5 】。例如，本地验证使用的 l c d 需要的格式为r g b 5 6 5 ，进行图像编码时需要的数据格式为y u v 4 ：2 ：2 ，都需要 经过内部数字信号处理器的转化。 ( 2 ) 时序控制 o v 9 6 5 0 在每个像素时钭输出一个像素的值。整幅图像的输出是由时钟进行同步的。 当整幅图像发送完成后，帧同步信号v s y n c 由低电平变为高电平1 鄂，表示一帧图像结 束，然后进入帧消隐阶段。当v s y n c 由高电平变为低电平时，新的一帧图像开始传输。 以q v g a 为例，一帧一共有：2 5 0 个行周期，其中有2 4 0 个是有效的【1 4 】，如图3 2 所示。 q v g a 的像素一共有3 2 0 x2 4 0 个。其中，一个行周期是由3 2 0 个像素周期和8 0 个 行消隐周期组合而成的【1 5 】。 瞰o ，鋈鏊i 誓羹西羹i 嚣鍪溉羽霪瓤! 瓤孤銎；銎眶弧鎏i 曩瞳囊羹鍪 p o 9 “ n o t e ：r o w 0r o w lr o w 2r o w2 3 9 图3 2o v 9 6 5 0 中q v g a 帧时序图 q v g a 一幅图像一共有1 2 4 0 行，行时序如图3 3 所示。由图可以看出，在行同步信 号h r e f 为低电平的时候没有像素数据输出，在高电平时数据才有效。同时，应该在像 素时钟p c l k 上升沿的时候采集像素数据。y u v 4 ：2 ：2 格式需要两个字节表示一个像素， 但一个时钟周期只输出一个字节，所以一个像素需要两个周期来完成 眦 | | 童 眦 坩 h 心 哈尔滨工程大学硕士学位论文 t k 1 几j 图3 3 行时序图 y u w 、r g b 5 5 5 与r g b 5 6 5 的输出数据格式如图3 4 所示。 f i r s tb y t e 图3 4 ( a ) y u y v 的数据格式 l 也ir lir 0lg 4ig 3lg 2ig lig oib 4ib 3 图3 4 ( b ) r g b 5 5 5 的数据格式 f i r s tb y t e r 4lr 3ii 也lr 1ir olg 5ig 4lg 3g 2g 1g 0 b 4lb 3 b 2ib lb 0 图3 4 ( c ) r g b 5 6 5 的数据格式 3 3 图像采集接口与缓存设计 o v 9 6 5 0 的像素时钟是由外部时钟经f p g a 分频得到的，为2 5 m h z 。为了对两端的 速率进行匹配，需要在系统的前段搭建一个硬件实现的采集接口模块。本文用硬件描述 语言编写了一个采集接口，在像素时钟的上升沿将图像数据采集进来放入片上刚。m 中， 直到一行的数据都存放完后，将一行的数据通过d m a 传送到片外s r a m 中。 因为图像缓存双hr a m 存储器是n i o si i 处理器的外设，它和内部处理器进行通迅的 就需要遵循c p u 的总线规范，因此用户需要自己定制一个a v a l o n 总线型元件【2 9 】。多种图 像传感器芯片可以按照这种思路灵活地接入这种c a m e r a 接口，这就是本文所用方案的优 势所在。图像采集接口如图3 5 。主要包括图像硬件接口电路和双1 2 r a m 总线接口两大 部分。 1 2 飞虱 一 x 第3 章视频采集 i 薯；薯；暑高；j 罱昌墨罱暑i 置暑i ；昌i 宣篁南昌；墨高皇罩；i ；罱；暑高若誊i 苗i ；叠i ；罱；j 薯葺罩置备 a v a l o n 总线 1 图像采集接入图像缓存卜 型双口r a m 接 口 ，| 双口r a m l 口 i 线 i i 图3 5 图像采集接口 1 、图像采集接口电路 o v 9 6 5 0 的图像采集接口如图3 6 。图像采集模块仿真波形如图3 7 。 i p m _ r a m _ d p 0 j 竺! l 图3 6 图像采集和r a m 缓存接口的电路图 图3 6 中，i n为帧同步输入引脚， 为 行同步输入p o 引r t 脚t o ，t h e y s y n c o v 9 6 5 为0像素同步输i n 入_ p o 引r t 脚t o ，t h ehrefov9650 i n p o r tt ot h ep c l k o v 9 6 5 0 y _ o u t 7 0 】 为o v 9 6 5 0 像素值输入引脚，每一个像素时钟输入一个字节的像素数据。o v 9 6 5 0 一r a m 模 块将o v 9 6 5 0 输入的数据进行适当组合，为与后面3 2 位的双口r a m 数据格式相匹配， 存满4 字节的图像数据后再输出数据。q 3 1 0 为双口r a m 的输出引脚，r d a d d r e s s 8 o 、 r d e n 、r d c l o c k 分别为双口r a m 的地址、使能与时钟信号。 图3 7 中的c l k 为像素时钟，本设计中为2 5 m h z 。v s y n c 为帧同步信号，h r e f 为行 同步信号，p c l k 为像素时钟信号，y o u t 表示o v 9 6 5 0 输入到f p g a 中的像素数据， r a ma d d r 为片上r a m 的地址，r a n ld a t a 为片上r a m 的数据。、rc l k 为双口删写 时钟信号，w r i t e 为使能信号。片上r a m 为3 2 位，每个像素时钟输出8 位的图像数据， 1 3 哈尔滨工程大学硕士学位论文 ；宣i ；墨宣i i 暑笥i 宣暑置j i ；i 宣暑宣暑；i ；i 宣；宣暑宣暑宣暑；叠宣罱i i 宣罱；高；富；宣；昌暑宣；薯罱每；嗣 所以每个r a m 地址存放4 个数据。 i j ul i l i u i s i j 砌兀几砌几哪n f l 1 咖咖n 八f l f l 1 1 哪咖唧n l 1 f 1 几唧唧f 1 1 f 1 ： ：! ； l ：i ，； ； ：。i。： 几：广 i 广 广 ；n广 i 广 i 广 ：厂 ；门：门；广猊r 乙 0 | 1 x1 xj ! ：x 三i ) ( 土1 ) ( 旦1 ) ( ! x ：! x 旦x 邑x ! ! 美1 1 。) ( 1 2 。0 0 0 x ；0 0 1x 。：0 0 2 。 ；：0 0 0 0 0 0 0 01 ： ；：x ；0 0 0 1 0 2 0 3 ：x ? 0 4 0 5 0 8 0 7 ： i - 1 _ ：广 ：广 厂 广1nf | n 广 广 ii i 广 l 。! ：广1 ：! 广 ! l 一 1 r = 厂 ( ) 】 _ j j 图3 7o v 9 6 5 0 图像采集的q u a r t u s1 i 波形图 为了更方便的调试系统，还设计了彩色液晶屏的显示接口。n i o si i 试验箱上拘显示 器件支持图像：分辨率为6 4 0 x 4 8 0 的视频图像显示。o v 9 6 5 0 输出的图像时序与l c d 屏所 需的不完全一致，因为o v 9 6 5 0 两个时钟才输出一个像素的数据，所以需要将其2 分频 然后送l c d 的时钟端口。将v s y n c 取“反”后，与h r e f 相“或，作为l cj ) 的数 据使能信号。 液晶显示原理如图3 8 。 眦h r f l 分频i h s 吼y n k c - v s yn c v s y n c 7 0 v 9 6 5 0 r 习 。、n 1 、f o 6 4 0 * 4 8 0 i n t e r f a c ei 取反 、- 除去前后肩 t f t ， 彩色液晶 r i d a t a ( 8 位) j2 个8 位数据转化id a t a ( 1 6 位) 1 为1 6 位 图3 8 液晶显示原理 彩色液晶的实际显示图像如图3 9 所示。 图3 9 液晶显示图 由图看以看出，摄像头o v 9 6 5 0 工作良好，图像清晰，符合设计要求。 1 4 n “k c t 毫a l e k m 盯k m 雌“一d m 出郴h皿”m瑚峨一 第3 章视频采集 2 、a v a l o n 总线型外设 a v a l o n 总线接口定义了一系列的信号类型来描述外设上面读与写的接口。 a v a l o n 接口与传统接口最主要j 2 _ - - 就是它的接口可以进行配置。如果传送的 信号很简单则使用- d , 组信号，反之，如果传输复杂，则使用完整信号。 本设计中使用了片上双口r a m ，r a m 中的数据需要通过a v a l o n 总线传送到片 外s r a m 中，因此需要定制用户自己的外设。在n i o si i 中，为达到各种需要，用户 可以使用自己定义的逻辑外设与指令。将v h d l 描述的逻辑封装成为i p 核【3 0 】。当完成 上述步骤后，可以将其作为一个元件来使用。 元件通常由以下模块组成【3 1 】： 任务逻辑：不能缺少的模块，完成该元件基本功能； 寄存器文件：任务与外界需要进行通信的通道由该文件提供。如果需要访问内部 的寄存器则使用基地址加上偏移地址的方法； a v a l o n 接口：使用a v a l o n 信号访问寄存器文件。 上面描述的元件如图3 1 0 。 因为本次设计中用的a w d o n 外设是存储器类型的，所以使用过程中不需要修改元件 的参数，因此这部分没有考虑。 外部接 口信号 寄存器文件 j l 状态寄存器l a v a l o n 任务 厂 l j 牟令l 卜 l 程序寄存器i 叫 从接口逻辑 广 l 卜 i 数据寄存器l 厂叫 图3 1 0 双口删控制器 图3 1 1 添加描述文件 封装元件的时候，需要将硬件文件添加到系统中，添加硬件文件的步骤如图3 1 1 所 1 5 从号信试徊觚端 、0 厂 一型塑鲎鎏坠坠圣一 不。 添加完描述文件之后然后需要设置信号。i n t e f f a c e 为信号接口类型名称，s i g n a l t y p e 是信号类型，w i d t h 为信号宽度，d i r e c t i o n 是信号方向，标