IP+Camera技术研究与应用.pdf

分类号 密级 udc 学 位 论 文 ip camera 技术技术的研究与的研究与应用应用 房房 华华 指导教师姓名 罗克露罗克露 教授教授 电子科技大学电子科技大学 成都成都 申请学位级别 硕士硕士 专业名称 软件工程软件工程 论文提交日期 2007.10 论文答辩日期 2007.11 学位授予单位和日期 电子电子科技大学科技大学 答辩委员会主席 评阅人 年 月 日 注 1 注明国际十进分类法 udc的类号 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 i 摘 要 近年来，随着网络技术、通信技术和视频技术的飞速发展，视频监控逐步步 入了全数字化网络阶段，而嵌入式网络视频监控系统正是其中的一个发展方向。 在数字化景区中，通过 ip camera 技术，可以传输数据量小，质量高的实时视频数 据。 本文基于作者在成都九洲电子信息系统有限责任公司的科研项目嵌入式网络 ip 摄像机为课题背景，主要探讨嵌入式网络摄像机系统的设计以及网络视频监控 系统设计的关键技术。主要内容如下： （1）系统设计综述。介绍了以 arm 为微处理器 linux 为操作系统嵌入式系 统硬件和软件的设计，介绍了 ip camera 的软硬件设计和网络监控系统的设计。 （2） ip camera 软件平台的设计。 本文详细阐述了系统的启动引导程序 u-boot 的配置与移植，linux2.6 的移植，以及应用程序的移植。 （3）linux 操作系统网络驱动程序的编写。基于 at91rm9200 的网络设备驱 动程序的设计是本网络传输系统的重要部分。本文详细介绍了与网络设备驱动程 序相关的 linux 内核的数据结构 net_device 和 sk_buff。同时对于物理层控制芯片 dm9161 和 at91rm9200 芯片内集成的 emac 的控制给出了详细的设计过程，给 出了驱动程序的完整实现。 （4）网络视频监控系统的设计与实现。该软件选择以 windows xp 为软件开 发平台，选用 visual studio 2005 作为软件开发工具，采用 c/s 结构和模块化设计。 给出了系统数据库设计以及部分模块设计。 经过系统测试，我们设计开发的网络摄像机以及网络视频监控系统具备了较 好的功能和稳定性。最后，论文对课题取得的主要成果和相关技术加以总结。同 时对今后的进一步研究工作进行展望并提出设想。 关键词：ip camera，嵌入式系统，设备驱动，视频监控 abstract ii abstract in the recent years, with the rapid development of network technology, communication technology and digital video technology, the video monitoring system steps into the completely digital network time gradually, and embedded video network monitoring system is exactly a developing direction one of them. in the digital scene, with the ip camera, it can transfer the real video data, which has the advantage of the smaller data amount and higher quality. this thesis mainly discusses the key techniques of embedded network camera and video network monitoring based on the authors work on embedded ip camera in chengdu jiuzhou electronic information co.ltd. the main content is as follows: (1) the system design summarizes. the thesis introduces the hardware and software design of the embedded system which takes arm as the micro processor and linux as the os, the hardware and software design of the ip camera and the design of the network monitoring system. (2) the design of the ip camera software platform. the thesis detailed expatiates on the configuring and porting of u-boot, the porting of linux2.6, and the porting of application program. (3) the programming of network driver program in the linux os. the design of network device driver program based on at91rm9200 is the most important part of the network transmission of this system. the thesis introduces in detail the data structure net_device and sk_buff in linux kernel which relates to the network device driver program. at the same time, this thesis gives a detail design process of the control of emac which integrated in physical layer control chip dm9161 and at91rm9200. (4) the design and realization of the video network monitoring system. the system chooses the windows xp as the software development platform and chooses visual studio 2005 as software development kit, choose c/s framework and modularization design. the thesis gives the design of the database and partial module. by system testing, the results have provided that the ip camera and the video network monitoring system have provided with good functions and stabilities. finally, abstract iii the dissertation summarizes the main achievement and correlative technologies. at the same time, it also puts forward the further expectation and imagination in the future. key words: ip camera，embedded system，device driver，video monitoring 目录 iv 目 录 第一章 引言 . 1 1.1 引言 . 1 1.2 视频监控的发展概况 . 1 1.2.1 模拟监控 . 1 1.2.2 pc 视频监控 . 2 1.2.3 网络视频监控 . 3 1.2.4 未来发展趋势 . 4 1.3 监控市场现状 . 4 1.4 数字化景区 . 5 1.5 项目背景和论文主要工作 . 6 1.5.1 系统设计目标 . 6 1.5.2 论文主要工作 . 6 1.5.3 论文内容安排 . 7 1.6 小结 . 7 第二章 系统设计综述 . 8 2.1 嵌入式系统设计概述 . 8 2.1.1 嵌入式系统构成 . 8 2.1.2 嵌入式系统设计开发一般过程 . 9 2.1.3 嵌入式开发平台选择 . 10 2.1.4 嵌入式系统的开发模式 . 14 2.2 mpeg-4 视频编码标准 . 15 2.2.1 各视频编码标准的比较 . 16 2.2.2 mpeg-4 视频编码的主要特性 . 16 2.3 ip 网络摄像机系统设计 . 18 2.3.1 硬件平台设计 . 18 2.3.2 软件平台设计 . 19 2.4 监控系统设计 . 20 2.5 小结 . 22 目录 v 第三章 ip camera 软件平台设计与实现 . 23 3.1 ip camera 系统软件综述 . 23 3.2 u-boot的分析与移植 . 24 3.2.1 u-boot 介绍 . 24 3.2.2 u-boot 目录分析 . 24 3.2.3 u-boot 启动分析 . 25 3.2.4 u-boot 的移植过程 . 26 3.3 linux2.6 内核的移植. 27 3.4 基础应用程序的移植 . 28 3.4.1.设计根目录及文件系统 . 28 3.4.2 移植 busybox . 28 3.4.3 移植 tinylogin . 29 3.4.4 相关配置文件的创建与设计 . 29 3.4.5 移植 inetd . 30 3.4.6 移植 thttpd web 服务器 . 31 3.4.7 建立根目录文件系统包 . 31 3.5 小结 . 32 第四章 网络设备驱动的设计与移植 . 33 4.1 linux设备驱动程序概述 . 33 4.2 linux网络驱动程序的基本概念 . 34 4.3 linux网络设备驱动的设计 . 35 4.3.1 网络驱动程序中用到的数据结构 . 35 4.3.2 网络驱动程序中用到的系统调用 . 40 4.4 基于 at91rm9200 网络设备驱动程序的编写 . 42 4.4.1 网络设备的硬件支持 . 42 4.4.2 对于 dm9161 芯片控制函数的编写 . 44 4.4.3 mac 地址维护操作函数的编写 . 46 4.4.4 ioctl 命令函数的编写 . 47 4.4.5 mac 层操作函数的编写 . 48 4.4.6 网络设备驱动程序与内核的关联 . 56 4.5 小结 . 56 第五章 数字化景区网络视频监控系统设计 . 57 目录 vi 5.1 网络视频监控系统主要模块 . 57 5.2 网络监控系统部署 . 57 5.3 网络视频监控系统数据库设计 . 58 5.3.1 数据实体 . 58 5.3.2 数据实体/表设计 . 59 5.4 网络视频监控系统主要窗体与模块设计 . 60 5.5 视频监控模块设计与实现 . 61 5.5.1 模块结构设计 . 61 5.5.2 画面切换设计流程 . 62 5.5.3 画面切换主要函数 . 62 5.5.3 画面切换主要函数 . 63 5.6 小结 . 65 第六章 系统测试 . 66 6.1 测试环境 . 66 6.2 测试样机 . 66 6.3 测试内容 . 66 6.4 测试结果 . 67 6.4.1 ip camera 单机测试结果 . 67 6.4.2 网络视频监控系统测试 . 68 6.5 小结 . 69 第七章 总结与展望 . 70 7.1 系统总结 . 70 7.2 展望 . 70 致 谢 . 72 参考文献 . 73 第一章 引言 1 第一章第一章 引言引言 1.1 引言引言 在信息化技术高度发展的今天，计算机技术、网络技术、通信技术以及多媒 体视频技术已经渗透到人类生存、活动的各个领域当中。 视频监控是一门集计算机技术、通信技术和数字视频技术于一体的综合性系 统。它以其直观、方便、信息内容丰富等特性而被广泛应用于工业生产、交通、 电力、银行等场所。它正从传统的安防监控向管理、生产监控发展，并逐步与管 理信息系统相结合，达到资源共享，为管理者提供更直观、更有效的决策信息。 网络视频监控不仅符合社会信息化的发展趋势，而且代表了监控行业未来的发展 方向。 网络视频监控系统的一般过程是：在一些重要的场所安放若干个摄像机，摄 像机负责采集视频数据， 并经过适当视频压缩编码处理后， 通过一定的传输网络(线 缆、无线、光纤或以太网)，传到指定的监控中心。监控中心可以远程监控现场图 像，并可通过存储介质保存现场视频数据供日后查询取证应用。 1.2 视频监控的发展概况视频监控的发展概况 随着计算机技术、网络技术、通信技术和多媒体技术等的发展，视频监控技 术也得到了迅速发展。视频监控技术的发展大致可分为三个阶段（即模拟视频监 控阶段、基于 pc 的视频监控阶段、基于嵌入式技术的网络视频监控阶段） 。 1.2.1 模拟监控模拟监控 典型的模拟视频监控系统一般由图像摄影部分(模拟摄像机、镜头、云台、麦 克风等)、图像传输部分(电缆、光缆等)、系统控制部分(操作键盘、视频分配器、 视频矩阵切换器、云台控制解码器等)和屏幕显示与数据存储部分四大部分组成。 到目前为止，模拟视频监控系统的技术已经相当成熟，但其自身有很大的自身局 限性： （1）监控的范围相当有限。由于模拟信号随着传输介质距离的增加，信号功 电子科技大学硕士学位论文 2 率会逐步衰减，所以信号传输距离有限，应用场景局限于有限距离场所。 （2）模拟信号占用通讯线路带宽较大，而且开放性较差。 （3）监控质量不高。由于模拟信号很容易受外界信号干扰，所以监控图像质 量不好。 （4）扩展能力差。如果要新增监控点，会引起其他的设备的改动以及网络的 改动，新的设备很难添加到原有的系统之中。 （5）成本较高。对于每个监控中心都需要配置一套监控设备，而且信息的存 储方式是利用录像带、磁带等设备，这些存储设备耗量大，成本较高。 由于存在以上的缺点，所以传统的模拟视频监控系统己远远不能满足越来越 高的生产和管理监控的现实需求。 1.2.2 pc 视频监控视频监控 九十年代中后期，计算机网络开始普及并得到迅猛发展，视频技术的发展也 日新月异，这些技术的发展特别是视频压缩技术的出现和发展，使数字视频的存 储和传输成为可能。计算机技术的日益成熟，微机的普及化，也为基于 pc 的视频 监控创造了条件。 基于 pc 的视频监控系统是先将摄像头采集的模拟视频信号转化为数字信号， 利用专用压缩卡对数字信号进行压缩处理后，通过网络传输给作为监控终端的 pc 机，监控终端 pc 机利用专用解压卡对数据进行解压后，就能够重现远端的图像。 数字信号的传输可靠性较高，且数字化的视频流数据可以通过各种方式被连 接在网络上的计算机共享。所以与模拟视频监控相比，基于 pc 的视频监控系统具 有传送距离远、图像质量好、数据的保存成本低、灵活性高等特点。因此基于 pc 的视频系统，自出现后就得到了广泛的应用，占据了监控系统的主要市场并正在 逐步取代模拟监控网。 但是基于 pc 的视频监控系统也还存在很多问题： （1）体积大、功耗高。由于需要利用专用压缩/解压卡对视频信号进行压缩和 解压缩处理，所以使监控系统体积较大，功耗较高。 （2）监控现场需要专人值守，维护烦琐。 （3）实时性不高和稳定性较差。 （4）成本较高。 （5）可扩展性差，采用专用的压缩卡和解压缩卡对视频数据进行压缩和解压 第一章 引言 3 缩，只能支持一种编码格式，无法提供对其他编码方式的支持。 1.2.3 网络视频监控网络视频监控 随着芯片、网络技术的进步，现在出现了一种新型的网络视频监控系统，即 基于嵌入式技术的网络视频监控系统。 基于嵌入式技术的网络视频监控主要的原理是：采用嵌入式实时多任务操作 系统，高效数字信号压缩芯片和高性能的 cpu，将视频压缩与传输处理工作全部 内置到芯片上。摄像机传送来的视频信号数字化后由视频压缩芯片编码压缩，通 过内部处理后转到网络或服务器上。网络上用户可以通过专用软件或者直接用浏 览器观看远程 web 服务器上的摄像机图像，授权用户可以控制摄像机云台镜头的 动作或对系统配置进行操作。 网络摄像机采用专用芯片和实时嵌入式操作系统，有效地提高了系统的实时 性和稳定性。而且把视频压缩和网络传输功能集成到一个体积很小的设备内，可 以直接连入以太网，达到即插即看，省掉各种复杂的电缆，安装方便(仅需设置一 个 ip 地址)。 在监控终端，远程监控人员只需拥有一台安装了监控终端软件的 pc 机，无需 安装特殊的硬件设备，就可以在世界的任何一个地方，对监控现场进行实时远程 监控。这样大大降低了系统的成本，极大地方便了整个监控系统的操作和维护。 目前，虽然基于 pc 的视频监控系统仍然占据监控系统的主要市场，但是它具 有结构复杂，稳定性、可靠性不高，价格高昂、操作烦琐等缺陷。特别是很多场 合需要在一个监控现场安装多个摄像头，并需要在监控终端同时对多个监控现场 进行实时监控。对于这种需求，如果仍然采用基于 pc 的远程监控技术，利用专用 的压缩解压卡来实现视频数据的压缩和解压，就需要大量的压缩解压卡，使整个 系统更加复杂，稳定性和可靠性更低，而整个系统的成本也变得更加昂贵。 所以，嵌入式网络视频监控系统成了当前研究的热点。目前国外许多公司都 在从事嵌入式网络视频监控方面的开发，并且已有了一些产品。如瑞典的 axis， 美国的 vtel 等。总之，与基于 pc 的视频监控系统相比，基于嵌入式技术的网络 视频监控系统具有体积小，安装方便，现场无需专人值守，成本低，稳定性高等 特点，因此基于嵌入式技术的网络化视频监控系统必将有良好的应用与发展前景， 由它代替当前普遍应用的基于 pc 的视频监控系统将成为必然趋势。 电子科技大学硕士学位论文 4 1.2.4 未来发展趋势未来发展趋势 随着社会的发展，在未来网络摄像机大规模应用的基础上，实时视频必将向 监控智能化、网络形态多样化、设备多元化、视频数据库应用等方面发展： （1）智能化。分布式智能，将智能处理功能集成到摄像机中。先进的网络摄 像机可以具备内置的动态侦测和报警管理功能，因此摄像机可以根据设置自己决 定何时应该发送视频、以多大的帧速和分辨率发送，以及何时通知专门处理报警 事件操作人员。更加智能化的算法应用，如车牌号识别、人数统计、面部识别等 等。获得更加易于管理和更加精确的未来数据。 （2）网络形态多样化。利用 2g、3g 等无线通信技术，实现在任何时间、任 何地点都可以得到需要的视频图像。 ipv6 无疑将是下一代的互联网标准， 利用 ipv6 提供充足的 ip 地址空间，并通过对 ip camera 的相应的硬件改造，使之支持 ipv6， 将会大大扩展系统的应用范围与空间。 （3）终端监控设备多样化。除了传统的 pc 机和笔记本，系统应该支持更多 的接入终端设备。一个方向是大型化，如电视墙、大屏幕等；一个方向是小型化、 便携化，如 pda、手机等。 （4）对视频数据库的研究。对于系统应用后产生的海量视频数据，我们能用 来做什么？我们应该如何存储管理这些视频数据，并实现快速的检索定位？如何 从这些数据中获取有用的知识？这些问题在 ip camera 得到广泛应用之后我们必 将面对的问题。从目前业界前沿的研究思路来看，视频知识库、视频数据仓库、 视频搜索引擎、视频数据挖掘等无疑是后视频监控发展的方向。 1.3 监控市场现状监控市场现状 ip camera 诞生于 1995 年，随着宽带技术和其他相关科技的进步，在 1998 开 始迅猛发展，并逐渐应用于多种领域。 根据 j.p. freeman 的调查预测，2007 年全球 ip camera 销售量会超过普通摄像 机，至 2008 年 ip camera 的销售量将是普通摄像机的两倍以上1。其中全球 ip 视 频监控摄像机与服务器的销售收入预测如图 1-1 所示： 第一章 引言 5 图 1-1 全球 ip 视频监控摄像机/服务器销售收入预测 网络摄像机在安全防护产业应用广泛。按我国人口折算，安全防护产业年营 业额应该有 4400 亿元人民币，但目前中国安防行业实际总额仅有 300 亿元，有巨 大的潜在需求。目前国家正要求进行“科技强警和平安城市建设” ，预计到 2008 年，科技强警和平安城市将超过 100 个，其中重要的一点就是要求加强城市治安 视频动态监控行业，专家预测中国的安防视频设备市场将以每年 20%以上的速度 增长，预计 2008 年市场规模将达到 10 亿美元。而中国持续不断的建设高潮也为 视频安防市场的稳定发展提供了最坚实的基础。无疑，使用网络摄像机的视频监 控系统在城市治安、教育、交通、银行、政府、旅游、商场、工业、家庭等领域 有着广阔的应用与美好的市场前景。本项目结合四川省数字化景区建设项目，对 ip camera 系统在数字景区项目中的应用进行初步研究。 1.4 数字化景区数字化景区 数字化景区：是指以信息技术、通讯技术、存储技术、网络技术等现代数字 技术，优化景区的业务流程与管理流程，目的在于为游客、景区、社会创造更多 的价值。 在数字化景区管理中，需对景区内主要景点、服务区、险要路段、停车场、 售票中心和检票口等多个点进行视频监控，通过光纤、电缆、wimax 等多种传输 方式将视频图像传输到智能监控中心。在智能监控中心的屏幕墙上，能对景区内 每一个核心景点的人车流量、以及售票中心和检票口的秩序情况一目了然。根据 各个景点的游客数量，调动车辆和疏导游客，以平衡各景点的游客分布，从而使 整个景区的秩序处于合理、有序状态，从而构建和谐化景区。这不仅保护了景区 电子科技大学硕士学位论文 6 生态环境，而且使游客得到更优质的用户体验。此外，通过 ip camera 系统智能技 术，将可以自动侦测景区中禁止进入区域内的游客进入，并通过电子邮件、短信 等方式向相关人员报警。如遇突发事件，可将 ip camera 在事发地建立监控点，让 管理中心及时了解事态的发展，做出相应的处理。 1.5 项目背景和论文主要工作项目背景和论文主要工作 本论文的相关课题是基于成都九洲公司的研究项目ip camera 技术在数字化 景区中的研究与应用 。着眼于网络摄像机的产业化以及应用点的探索，最终目的 是交付较成熟的少量样机以及小型管理系统（local 版）的系统应用。 1.5.1 系系统设计目标统设计目标 系统主要由两部分组成：前端 ip 网络摄像机和网络视频监控管理系统。网络 摄像机基于嵌入式网络设备技术，操作系统为 linux2.6，视频压缩采用 mpeg-4 （moving picture experts group）标准编码压缩，音频采用 adpcm（adaptive differential pulse code modulation，自适应差分脉冲编码调制）编码。音视频数据 的网络传输遵循 tcp/ip 协议和 rtp(real time protocol)/rtsp(real time streaming protocol)协议。网络视频监控管理系统工作在 windows xp 环境下，适用于局域网 或专网内，可以管理多路视频并实时监控。 1.5.2 论文主要工作论文主要工作 本论文中所做主要的工作： （1）对嵌入式 linux 技术有深入的研究，对 u-boot、linux、cramfs、thttpd 在 arm9 平台移植进行了研究并实现移植过程工作，为项目提供了一个可靠的软 件基础环境。 （2）对以太网卡设备有较深的研究，并完成了网卡驱动程序的分析、修改、 编写以及移植工作。 （3）对 c# windows 编程技术有一定的研究，并完成了系统的部分模块的编 程工作。 （4）对 linux 系统及其下编程技术有一定研究。 （5）对 mpeg4 视频编码标准有一定的了解。 第一章 引言 7 （6）协助项目主管，全程参与了产品的研制过程。对嵌入式设备及应用系统 的开发过程与管理有一