（信号与信息处理专业论文）基于fpga的网络视频监控系统的研究.pdf

study on network video monitoring system base on fpga a thesis submitted to chongqing university in partial fulfillment of the requirement for the degree of master of engineering by liuyong supervisor: associate prof. zhang ling major: signal and information processing college of communication engineering of chongqing university, chongqing, china. april,2008 重庆大学硕士学位论文 中文摘要 i 摘 要 应用嵌入式网络技术的监控系统是监控领域最新的发展趋势， 嵌入式网络监 控系统是电子技术、计算机技术、通信技术和自动化技术快速发展并相互结合 的高新技术产品。嵌入式网络技术改变了以往的监控系统体系结构，满足了现 代监控系统的可扩展性、分布性、实时性等，可广泛运用于电信、交通、电力、 银行等领域。正是在这一背景下，本文设计了一种基于 fpga 的嵌入式网络视 频监控系统，整个系统由远程现场（嵌入式前端子系统）和监控中心（后端子 系统）组成。 本文主要讨论嵌入式前端子系统的设计与实现。 在研究了目前流行的嵌入式 系统和 mpeg-4 专用视频压缩芯片方案后，确定在嵌入式系统方面采用近几年 兴起的片上可编程技术 sopc 来构建嵌入式硬件平台；音视频数据的压缩基于 专用芯片 go7007sb 来设计；利用 uclinux 操作系统实现整个系统的控制的方 案。论文的内容主要包括以下几个方面： 对嵌入式前端子系统方案进行深入研究，对其进行功能细分，确定由三 部分构成：音视频采集、压缩子系统和嵌入式子系统。在 protel 环境下完成音 视频采集和压缩子系统硬件电路的原理图设计和电路板设计。 结合 sopc 技术，在 sopc builder 环境下构建嵌入式子系统。分析 i2c 总线协议，采用 hdl 语言模拟 i2c 时序完成音视频采集芯片初始化配置。分析 go7007sb 标准测试流程，并完成压缩子系统硬件设计测试。 移植 uclinux 操作系统，建立程序开发环境；研究 linux 环境下驱动程 序的设计，并分析压缩子系统驱动程序功能需求，设计压缩子系统驱动程序。 提出一种简单的音视频编码数据分组打包算法，思想在于使得网络上发 送的数据包的大小尽量一致，减小由于数据包大小差异引入的传输延迟，使得 传输趋于稳定有序。设计并实现了基于 tcp 传输协议的客户端/服务器网络模 型，实现音视频编码数据的网络传输。 最后对本文构建的视频监控系统进行测试。实验结果表明，本文提出的系统 架构方案有效可行，基于 fpga 的网络视频监控系统在可扩展性、实时性、分 布性等方面具有独特的优势，拥有广阔的发展前景。 关键词关键词：视频监控系统，go7007sb，sopc，uclinux，mpeg-4 标准 重庆大学硕士学位论文 英文摘要 ii abstract it is a tendency to use embedded network technology in the monitoring field. the embedded network video monitoring system is a new technique product that electronics, computer technology, communications technology joining together with automatization technique and developing quickly. embedded network technology will change the architecture of monitoring system, and it will satisfy the expansibility, distribution, real time in modern monitoring and controlling. it can be extensively applied in telecommunication, traffic, power transportation and bank etc. it is in the premise, this paper design a network video monitoring system base on fpga. the entire system is made up by remote site (embedded front-end subsystem) and monitoring center (back-end subsystem). this paper mainly discusses the design of the embedded front-end subsystem and realizes. in examining the current popular embedded systems and dedicated mpeg-4 video compression chip, be sure that embedded systems bese on on-chip programmable technology sopc to build embedded hardware platform whitch rised in recent years, audio and video data compression base on go7007sb design, use of uclinux operating system to achieve the control of the whole system. the content of the thesis mainly includes the following several respect: in-depth study on the fronet-end subsystem, its functional breakdown three parts: audio and video capture, compression subsystems and embedded subsystems. completion of audio and video compression subsystem hardware circuit schematic design and pcb design in protel environment. with sopc technology, construction of embedded subsystems in sopc builder. study on i2c bus protocol, using hdl language simulation i2c timing complete audio and video acquisition chip initialization configuration. analysis go7007sb standard testing process and complete compression subsystem hardware design testing. transplant uclinux operating system and establish procedures development environment. study the design of driver in linux environment and analysis of compression subsystem driver functional requirements; design the driver of compresses subsystem. propose a simple audio and video coding data packet algorithm.the idea of this 重庆大学硕士学位论文 英文摘要 iii algorithm is that makes the send data packets of the same size as far as possible in the network transmission. designed and implemented client/server network model based on tcp protocol to achieve audio and video encoding data network transmission. finally, the paper carries on the test of the video monitoring system in the paper. test results show that the proposed system architecture programmes to be effective. the network video monitoring system base on fpga in scalability, real-time, distributed etc, have a unique advantage, with broad prospects for development. keywords： video monitoring system， go7007sb， sopc， uclinux， mpeg-4 standard 重庆大学硕士学位论文 目 录 iv 目 录 中文摘要中文摘要 . i 英文摘要英文摘要 . ii 1 绪绪 论论 . 1 1.1 研究背景研究背景 . 1 1.2 国内外研究现状国内外研究现状 . 1 1.2.1 视频监控系统的发展 . 1 1.2.2 嵌入式 sopc 技术的发展 . 2 1.3 课题的意义课题的意义 . 3 1.4 论文的主要内容及章节安排论文的主要内容及章节安排 . 4 2 网络监控系统相关网络监控系统相关技术介绍技术介绍 . 6 2.1 基于基于 fpga 的片上可编程系统的片上可编程系统 sopc 简介简介 . 6 2.1.1 片上可编程系统 sopc . 6 2.1.2 sopc 开发流程 . 7 2.2 嵌入式操作系统嵌入式操作系统 . 8 2.2.1 嵌入式操作系统概述 . 8 2.2.2 uclinux 介绍 . 10 2.3 图像的压缩技术图像的压缩技术 . 11 2.3.1 视频压缩标准及比较 . 11 2.3.2 基于 mpeg4 视频压缩标准的选择 . 12 2.4 网络传输技术网络传输技术 . 12 2.4.1 tcp/ip 网络简介 . 12 2.4.2 嵌入式 linux 中 tcp/ip 网络结构 . 13 3 网络视频监控系统设计方案网络视频监控系统设计方案 . 15 3.1 系统总体方案系统总体方案 . 15 3.2 基于基于 go7007sb 的压缩子系统的压缩子系统 . 16 3.2.1 go7007sb 的主要特点 . 16 3.2.2 go7007sb 内部功能模块 . 18 3.2.3 go7007sb 外围接口 . 20 3.3 音视频采集模块音视频采集模块 . 21 3.3.1 基于 saa7113h 的视频采集模块 . 22 3.3.2 基于 wm8731 的音频采集模块 . 23 重庆大学硕士学位论文 目 录 v 3.4 基于基于 nios ii 的嵌入式子系统的嵌入式子系统 . 24 3.4.1 nios ii 软核处理器 . 24 3.4.2 nios ii 在系统中的应用 . 25 4 系统硬件电路设计系统硬件电路设计 . 26 4.1 基于基于 go7007sb 压缩子系统电路设计压缩子系统电路设计 . 26 4.2 音视频采集模块电路设计音视频采集模块电路设计 . 28 4.2.1 视频采集 saa7113h 电路设计 . 28 4.2.2 音频采集 wm8731 电路设计 . 29 4.3 其它模块电路设计其它模块电路设计 . 29 4.3.1 sdram 电路设计 . 29 4.3.2 电源及接口电路设计 . 30 4.4 硬件硬件 pcb 设计设计 . 32 4.5 小结小结 . 33 5 系统硬件逻辑设计系统硬件逻辑设计 . 34 5.1 sopc 设设计硬件平台计硬件平台 . 34 5.2 嵌入式子系统的嵌入式子系统的 sopc 设计设计 . 35 5.2.1 嵌入式子系统构建 . 35 5.2.2 嵌入式子系统工作流程 . 37 5.3 采集模块的采集模块的 fpga 配置配置 . 37 5.3.1 i2c 总线协议 . 37 5.3.2 saa7113h 芯片配置. 40 5.3.3 wm8731 芯片配置 . 40 5.3.4 i2c 配置模块 . 41 5.4 小结小结 . 43 6 系统软件设计系统软件设计 . 44 6.1 系统硬件测试系统硬件测试 . 44 6.1.1 hpi 接口 . 44 6.1.2 go7007sb 的调试 . 46 6.2 uclinux 操作系统的移植操作系统的移植 . 48 6.2.1 建立交叉编译环境 . 48 6.2.2 uclinux 内核的编译 . 50 6.3 驱动程序设计驱动程序设计 . 51 6.3.1 linux 设备驱动概述 . 51 6.3.2 go7007sb 的启动过程 . 55 重庆大学硕士学位论文 目 录 vi 6.3.3 设备驱动程序设计 . 56 6.4 应用软件设计应用软件设计 . 59 6.4.1 服务器端软件设计 . 59 6.4.2 客户端软件设计 . 61 6.5 系统测试系统测试 . 62 7 总结与展望总结与展望 . 64 致致 谢谢 . 65 参考文献参考文献 . 66 附附 录录：作者在攻读硕士学位期间发表的论文目录：作者在攻读硕士学位期间发表的论文目录 . 68 重庆大学硕士学位论文 1 绪 论 1 1 绪 论 1.1 研究背景 视频监控系统，就是对被监控对象进行图像视频采集，并通过一定的设备进 行处理，以实现图像视频的再现，通过观测再现后的图像视频，掌握被监控对象 的信息并做出相应的反应1。视频监控系统是安全防范系统的组成部分，它是一种 防范能力较强的综合系统。视频监控系统是一门集计算机技术、通信技术和数字 视频技术于一体的综合系统。它以其直观、方便、信息内容丰富等特性而被广泛 应用于工业生产、交通、电力、银行、智能办公大楼等场所。 sopc 技术是 altera 公司提出的一种灵活、高效的片上系统设计方案。它的实 质是 soc(system on chip)设计技术，与其它 soc 设计技术相比，它的特点在于可 编程性，即它利用 fpga 器件的可编程性来进行 soc 设计2。sopc 的主要思想 是提供一个 ip 库，用户从 ip 库中选择组件来构建系统。如果供应商提供的 ip 库 中的组件不能满足系统需求，用户还可以自定义逻辑来实现这些功能。sopc 技术 也提供了把自定义的逻辑加入到系统中的功能。 要设计一个嵌入式视频监控系统这么复杂的系统，而且市场的压力又不允许 进行长时间的研究，采用传统的设计方式将无法完成这样的任务，所以在本系统 中引入了 sopc 技术，提出了一种基于 fpga 的网络视频监控系统方案。采用 sopc 的柔性设计，可以方便的扩展和修改嵌入式视频监控功能而不需要修改硬 件。同时众多的 ip 核的融入使得高效、快速的设计得到保证。 1.2 国内外研究现状 1.2.1 视频监控系统的发展 视频监控系统是安全防范系统的组成部分，它是一种防范能力较强的综合系 统。视频监控以其直观、方便、信息内容丰富而广泛应用于许多场合。近年来， 随着计算机技术、嵌入式技术、图像处理技术以及传输技术的飞速发展，视频监 控技术也有长足的发展。视频监控系统的发展主要经历了以下三个阶段35： 在 20 世纪 90 年代以前，主要是以模拟设备为主的闭路电视监控系统，称为 第一代模拟监控系统。图像信息采用视频电缆，以模拟方式传输，主要应用于小 范围内的监控。 到目前为止，模拟视频监控系统的技术已经很成熟，而且应用也非常广泛。 模拟视频监控系统主要由摄像机、视频矩阵、监视器、录像机等组成，利用模拟 重庆大学硕士学位论文 1 绪 论 2 视频线将来自摄像机的视频信号连接到监视器上，利用视频矩阵主机，采用键盘 进行切换和控制，录像采用磁带录像机。模拟视频监控系统主要采用专用的视频 电缆传输，传输距离不能太远，适用于小范围监控，如建筑物内部监控，只能在 本地监控中心观看监控图像。它的功能单一，设备繁多，不易扩展。由于本身存 在的缺点，传统的模拟视频监控系统已经远远不能满足人们的需要。 20 世纪 90 年代中期，随着计算机技术的发展，数字视频压缩编码技术日益成 熟，基于 pc 技术的视频监控应运而生。它一般采取以下结构：在前端监控现场， 有若干台摄像机， 通过相应的线路连接到监控终端上， 监控终端可以是一台 pc 机， 也可以是专用的工控机。监控终端除了可以处理摄像机传输过来的视频信号外， 还可以利用视频压缩卡和通信接口卡，利用通信网络，将这些信号传输到一个或 多个监控中心以便集中处理。 基于 pc 的监控系统功能较强，灵活性高，可以发挥现代计算机强大的处理功 能；但它的稳定性不好，结构复杂，可靠性不高；功耗高，费用高；同时，它的 软件的开放性不好，难于对系统直接进行扩展。pc 机也需要专人管理，特别是在 环境或空间不适宜的监控点，这种方式不理想。 随着 ic 技术及网络技术的迅速发展，出现了一种新的基于嵌入式技术的网络 视频监控系统。它的主要原理是：采用嵌入式操作系统，在芯片上集成了视频压 缩与传输处理功能。摄像机传送来的视频信号数字化后由高效压缩芯片进行压缩， 然后通过内部处理后传送到网络或服务器上。网络上的用户可以通过专用软件或 者直接用浏览器观看服务器上的摄像机图像，授权用户还可以控制摄像机云台镜 头的动作或对系统进行配置。 与基于 pc 的视频监控系统相比，基于嵌入式技术的视频监控系统具有体积 小、安装方便、现场无需专人值守、成本低、稳定性高、实时性好的特点。因此 基于嵌入式技术的视频监控系统必将有很好的应用与发展前景，由它代替当前普 遍应用的基于 pc 的视频监控系统将成为必然趋势。 1.2.2 嵌入式 sopc 技术的发展 嵌入式系统的概念自 80 年代提出以来得到了迅速地发展。嵌入式系统就是以 应用为中心，以计算机技术为基础，软硬件可裁减，适合应用系统对功能、可靠 性、成本和功耗要求的专用的计算机系统67。使用嵌入式技术设计用户目标系统 时，不仅能对系统的软件和硬件适当选择匹配，还可以极大地提高系统的设计速 度。嵌入式技术已经成为现代电子系统的基本应用技术。 20 世纪下半页以来，微电子技术的迅猛发展，集成电路设计和工艺水平有了 很大的提高，单片集成度已达上亿个晶体管，这从数量上已经大大超过了大多数 重庆大学硕士学位论文 1 绪 论 3 电子系统的要求。如何利用这一近乎无限的晶体管集成电路，就成了电子工程师 的一项重大挑战。在这种背景下，片上系统 soc 应运而生。soc 是将大规模的数 字逻辑和嵌入式处理器整合在单个芯片上，集合模拟部件，形成数模混合、软硬 件结合的完整的控制和处理片上系统2。 从系统集成的角度看，soc 是以不同模型的电路集成、不同工艺的集成作为 支持基础的。 所以， 要实现 soc， 首先必须重点研究器件的结构与设计技术、 vlsi 设计技术、工艺兼容技术、信号处理技术、测试与封装技术等，这就需要规模较 大的专业设计队伍，相对较长的开发周期和高昂的开发费用，并涉及到大量集成 电路后端设计和微电子技术的专门知识，因此设计者在转向 soc 的过程中也面临 着巨大的困难。 soc 面临上述诸多困难的原因在于 soc 技术基于超大规模专用集成电路，因 此，整个设计过程必须实现完整的定制或半定制集成电路设计流程。美国 altera 公司在 2000 年提出的 sopc（system on programmable chip，片上可编程系统） 技术则提供了另一种有效的解决方案，即用大规模可编程逻辑器件 fpga 来实现 soc 的功能9。 sopc 与 soc 的区别就在于 fpga 与 asic 的区别。 sopc 是 soc 发展的新阶段，代表了当前电子设计的发展方向。其基本的特征是设计人员采用 自顶向下的设计方法，对整个系统进行方案设计和功能划分，最后系统的核心电 路在可编程器件上实现。 随着百万门级的 fpga 芯片、功能复杂的 ip 核、可重构的嵌入式处理器核以 及各种功能强大的开发工具的出现， sopc 已成为一种一般单位甚至个人都可以承 担和实现的设计方法。sopc 基于 fpga 芯片，将处理器、存储器、i/o 口等系统 设计需要的模块集成在一起，完成整个系统的主要逻辑功能，具有设计灵活、可 裁减、可扩充、可升级及软件、硬件在系统可编程的功能。 sopc 已经成为嵌入式系统领域中一个新的研究热点，并代表了未来半导体产 业的一个发展方向。 1.3 课题的意义 视频监控系统以能够实时、形象、真实地反映被监控对象的特性，迅速成为 现代化管理、监测、控制的重要技术手段之一。随着网络通信技术的迅猛发展， 个人计算机的日益普及，利用网络实现远程视频监控已成为一种需要。但是由于 视频数据量巨大，直接存储和传输将耗费大量的资源，也是现在的网络能力所不 能承受的。因此必须采用压缩编码才能实现实时的存储和传输。 mpeg-4 标准由 mpeg(moving picture expert group)于 1999 年 2 月正式公布， 同年年底 mpeg-4 第二版亦定稿， 且于 2000 年年初正式成为国际标准8。 mpeg-4 重庆大学硕士学位论文 1 绪 论 4 标准解决了低比特率下的多媒体通信等问题，并试图建立一种标准，具有广泛的 兼容性，能够在多行业得以广泛应用。mpeg-4 特别针对低带宽的条件设计算法， 因而它的压缩比更高， 使低码率的视频传输成为可能。 mpeg-4 的最高图像清晰度 为 768x576，可以达到接近 dvd 的画面效果，这使得它的清晰度非常好。同时， 经过几年的发展，mpeg-4 专用 asic 编码芯片已经成熟。 目前一般的远程视频监控系统，多采用基于 pc 机的视频监控技术，其视频数 据的压缩和解压缩多采用专用的编解码卡，使得整个系统较为复杂，稳定性和可 靠性都不高，而且如果使用一台 pc 机对多个监控现场进行实时监控，那么势必需 要大量的解压卡，这将使整个系统的成本非常昂贵。 嵌入式网络视频监控系统有效的改善了上述缺陷。嵌入式网络视频监控系统 将先进的嵌入式技术和多媒体压缩编码技术相结合，在监控点采用嵌入式技术， 利用视频编码芯片对视频数据进行压缩。 在监控终端的 pc 机利用软件实现对视频 数据的解压回放。由于放置在监控现场的嵌入式系统把视频压缩和网络传输功能 集成到一个体积很小的设备内，可以直接接入以太网，达到即插即用，省掉复杂 的电缆，安装方便，无需专人值守。而且远程监控人员只需拥有一台安装了监控 终端软件的 pc 机，无需安装特殊的硬件设备，就可以在任何地方对监控现场进行 实时远程监控。这样大大降低了系统的成本，极大方便了系统的操作和维护。 由于以上原因，嵌入式网络视频监控必将有良好的应用与发展前景。目前我 国的嵌入式网络视频监控系统还处于起步没多久的阶段，所以研究开发一种基于 嵌入式 sopc 技术和 mpeg-4 压缩标准的网络监控系统将有较高的技术先进性和 良好的市场运用前景。 1.4 论文的主要内容及章节安排 本课题设计并实现了一种嵌入式网络视频监控系统中的前端子系统， 系统可实 现的功能包括音视频数据的采集及数字化，数字化音视频数据的压缩和压缩音视 频编码数据的网络传输等功能。 论文主要讨论了基于 fpga 的嵌入式网络视频监控前端子系统的软硬件分析 与设计。论文中首先介绍了嵌入式网络视频监控系统相关技术；其次，根据功能 要求，确定整个系统的实现方案，将监控系统的前端子系统分为音视频采集、压 缩子系统和嵌入式子系统几个部分，并详细讨论音视频采集和压缩子系统的硬件 电路设计以及在 sopc 下嵌入式子系统的设计；再次，按照 go7007sb 的标准硬 件测试流程对系统硬件进行测试；最后，在 nios ii 上移植 uclinux 操作系统以及 uclinux 环境下驱动程序的设计和应用程序的设计等， 完成整个前端子系统的设计。 论文章节安排如下： 重庆大学硕士学位论文 1 绪 论 5 第一章 绪论。 第二章 网络监控系统相关技术介绍。本章介绍了系统中主要用到的片上可编 程系统 sopc、嵌入式操作系统、图像的压缩技术以及网络传输技术等。 第三章 网络视频监控系统设计方案。 第四章 系统硬件电路设计。完成采集、压缩子系统电路原理图和电路板设计。 第五章 系统硬件逻辑设计。在 sopc 环境下完成嵌入式子系统构建；研究了 i2c 协议，采用 hdl 语言模拟 i2c 时序对采集芯片进行初始化配置。 第六章 系统软件设计。针对 nios ii 软核处理器移植 uclinux 操作系统；在分 析研究 linux 环境下驱动程序设计和 go7007sb 工作流程的基础上，设计并实现 压缩子系统的驱动程序；完成应用程序的编写，实现编码数据的网络传输功能。 第七章 总结与展望。 重庆大学硕士学位论文 2 网络监控系统相关技术介绍 6