家庭监控嵌入式系统的设计

潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 I 目录目录 第一章 前言 1 1 1 课题背景 1 1 2 嵌入式系统概述 2 1 2 1 嵌入式系统的概念 3 1 2 2 嵌入式系统的特点 4 1 3 视频监控系统的现状与发展 4 1 3 1 远程视频监控系统概述 4 1 3 2 远程视频监控系统体系结构 6 1 4 研究工作 8 第二章 嵌入式 LINUX 家庭视频监控系统平台设计 9 2 1 系统的方案设计与原理 9 2 1 1 系统构成 9 2 1 2 系统工作原理与流程 10 2 2 嵌入式系统开发平台及 LINUX 内核裁剪及移植 13 2 2 1 嵌入式 Linux 操作系统简介 14 2 2 2 交叉编译环境的建立 15 2 2 3 Bootloader 的架构和功能 16 2 2 4 设置软件开发环境 17 2 2 5 Linux 内核编译 18 第三章 视频采集及压缩模块软件设计 20 3 1 视频采集摄像头驱动设计 20 3 1 1 Linux 设备驱动开发简介 20 3 1 2 USB 摄像头驱动程序开发 22 3 2 基于 VIDEO4LINUX的视频采集模块开发 28 3 2 1 Video4Linux 简介 28 3 2 2 视频编程所涉及的数据结构及用途 28 3 2 3 视频编程流程 30 3 3 摄像头采集模块的具体实现 32 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 II 3 4 基于 MPEG 4 压缩算法的视频压缩 33 3 4 1 常见压缩编码算法简介 33 3 4 2 MPEG 4 视频编码技术 36 3 4 3 MPEG 4 视频压缩的具体实现 39 第四章 基于 INTERNET 的视频监控平台设计 40 4 1 RTP 协议简介 40 4 1 1 RTP 数据协议 41 4 1 2 RTCP 控制协议 42 4 2 MPEG 4 数据流的 RTP 封装与传输 43 4 2 1 MPEG 4 数据流的封装 43 4 2 2 MPEG 4 数据流的传输 44 4 3 RTP 数据传输的具体实现 45 4 3 1 JRTPLIB 库的使用方法 46 4 3 2 程序流程图 48 4 3 3 环境搭建及编译方法 48 第五章 结束语 51 参考文献 53 致谢 54 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 I 摘要摘要 随着经济的快速发展 生活节奏的提高 人们照顾家庭的时间越来越少 感觉时间也越来越紧张 不但要周旋在繁杂的工作之中 同时也要兼顾自己的 家 怎样才能够解决这个矛盾 做到 鱼与熊掌兼得 成了人们关注的重点 嵌入式技术 网络技术以及多媒体技术的发展解决了人们的烦恼 将嵌入式系统与多媒体技术以及 网络技术相结合 构建一个灵活高效 扩展性强 可靠性高的监控系统系统将成为首 选方案 传统的网络视频监控系统如模拟视频监控 都是应用到专用的视频监控领域 采 用专有线路 模拟电视信号等实现 需要较多的硬件 整个系统昂贵 建设安装复杂 需要专业人士完成 这些要求都导致了该类系统难以普及进入普通家庭 鉴于这种情况 本文提出了一种新的监控方案 系统包括了处在家庭监控现场的 视频监控终端与视频监控网络平台两个部分 其中视频监控终端采用了韩国三星公司 的S3C2410微处理器 该处理器主频最高可达203MHz 处理速度快 视频监控设备采集 的视频图像经过MPEG 4压缩算法编码压缩后送入该处理器 经过处理后MPEG 4数据流 被送入视频监控网络平台 利用RTP实时传输协议以及无连接数据报协议UDP IP等将该 数据流打包后利用Internet网络进行实时传输到用户端 整个系统采用模块式结构 各个模块具有相对的独立性 这增强了系统的健壮性 与灵活性 当需要更换其中一个模块时其他模块并不需要做很大的改动 有利于系统 的更新换代 另外采用嵌入式的方法 系统成本较低 易于推广使用 关键词关键词 视频监控 嵌入式Linux Video4Linux MPEG 4 实时传输协议 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 II ABSTRACT With the fast development of economy and the improvement of the living peace people have less and less time to care for the family and feel more and more nervous They not only devote themselves to the complicated jobs but also care for their families How to solve this contradiction has become people s focus The development of embedded technology network technology and multimedia technology has solved people s annoyance It is people s first choice that constructing a flexible high efficient high extended and high reliable surveillance system which combines the embedded system multimedia and the network technology The traditional network video surveillance systems such as the analog video surveillance system are all applied to the special video surveillance field They use owner use circuit and analog television signal to implement and need a lot of hardware and therefore the cost is high Because it is complicated to implement this kind of system it needsexperts to complete All these lead to its difficulty to enter the common family Given to this condition the author comes up a new kind of solution The system consists of two parts which are the video surveillance terminals and the network while the former is on the family surveillance field The video surveillance terminal uses the microprocessor S3C2410 which is produced by SAMSUNG Company in South Korea and the main frequency of the microprocessor is up to 203MHz which is very fast The video captured by the video device is coded and compressed by the MPEG 4 algorithm and is sent to the microprocessor After processed by it the MPEG 4 data stream is sent to video surveillance network Then the MPEG 4 data stream is packed by the Real time Transport Protocol and User Data diagram Protocol and the Internet Protocol Finally the data packet is transmitted to the user The whole system is based on module constructer Each module has relative independence This enhances the robustness and flexibility When one module needs replacing another doesn t need great change It has great advantage to upgrade the system Also the system uses the embedded solution which leads to the low cost and is easy to use and spread Key words video surveillance embedded Linux Video4Linux MPEG 4 Real time 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 III Transport Protoco 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 1 第一章第一章 前言前言 1 11 1 课题背景课题背景 随着经济的快速发展 人们生活节奏的提高 照顾家庭的时间将会越来越少 人 们越来越感觉时间的紧张 不但要周旋在繁杂的工作之中 同时也要兼顾自己的 家 怎样才能够解决这个矛盾 做到 鱼与熊掌兼得 成为人们关心的问题 现代科技的 高速发展使两者的兼顾成为一种可能 远程监控系统主要用于完成远程现场点的数据采集 处理 实时监控等功能 传 统的远程监控系统采用自动控制技术 计算机技术并己广泛地应用于工业自动化 工 业控制领域 然而 由于传统的远程监控系统没有或无法解决实时大数据量处理远程 通信等问题 或者其成本等原因 其应用受到很大的限制 网络通讯技术 嵌入式处理技术及图像压缩处理技术以及传输技术的快速发展 使得家庭能够采用最新的通讯和图像处理技术 组建家庭视频监控系统 通过在家中 组建远程视频监控系统 人们在可以繁忙工作的同时 在远程就了解自己家庭概况 及时做出分析与判断 目前 在国内外市场上 数控模拟系统已发展非常成熟 性能稳定 在实际工程 应用中得到广泛应用 特别是在大 中型视频监控工程中的应用尤为广泛 但随着计 算机技术和图像处理技术的发展 以计算机技术及图像视频压缩为核心的数字系统正 迅速崛起 但尚不完全成熟 仍需进一步完善和发展 视频监控市场正处在数字和模 拟混合应用并将逐渐向数字系统过渡的阶段 数字信号控制的模拟视频监控系统分为 基于微处理器的视频切换控制加 PC 机的多媒体管理和基于 PC 机实现对矩阵主机的切 换控制及对系统的多媒体管理两种类型 数控模拟视频监控系统的传输工具主要是同 轴电缆 通常只适合于小范围的区域监控 系统的扩展能力差 新的设备也很难添加 到原有的系统之中 而且在模拟监控系统中 由于各部分独立运作 相互之间的控制 协议很难互通 联动只能在有限的范围内进行 无法形成有效的报警联动 90 年代末 随着微处理器 微机的功能 性能的增强和提高 多媒体技术 视频 压缩编码技术 网络通讯技术的发展 视频监控系统在功能 性能 可靠性 结构方 式等方面的要求都发生了很大的变化 模拟系统已无法满足更高的要求 数字监控系 统应运而生 数字化监控系统的核心技术就是图像压缩存储技术和网络传输技术 数 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 2 字监控系统的输入 控制 显示 存储这四大部分均采用数字化图像压缩处理技术 是经过数字化处理的图像 可利用现有的网络技术 将现场图像传输到远端监控中心 前端一体化 视频数字化 监控网络化 系统集成化是视频监控系统公认的发展 方向 而数字化是网络化的前提 网络化又是系统集成化的基础 所以 视频监控发 展的最大两个特点就是数字化和网络化 视频监控系统的数字化首先应该是系统中信息流 包括视频 音频 控制等 从模 拟状态转为数字状态 这将彻底打破 经典闭路电视系统是以摄像机成像技术为中心 的结构 根本上改变视频监控系统从信息采集 数据处理 传输 系统控制等的方式 和结构形式 信息流的数字化 编码压缩 开放式的协议 使视频监控系统与安防系 统中其它各子系统间实现无缝连接 并在统一的操作平台上实现管理和控制 这也是 系统集成化的含义 视频监控系统的网络化将意味着系统的结构将由集中式向集散式系统过渡 集散 式系统采用多层分级的结构形式 具有微内核技术的实时多任务 多用户 分布式操 作系统以实现抢先任务调度算法的快速响应 组成集散式监控系统的硬件和软件采用 标准化 模块化和系列化的设计 系统设备的配置具有通用性强 开放性好 系统组 态灵活 控制功能完善 数据处理方便 人机界面友好以及系统安装 调试和维修简 单化 系统运行互为热备份 容错可靠等功能 系统的网络化在某种程度上打破了布控区域和设备扩展的地域和数量界限 系统 网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的共享 这也是系统 集成的一个重要概念 1 21 2 嵌入式系统概述嵌入式系统概述 在现在日益信息化的社会中 计算机和网络已经全面渗透到日常生活的每一个角 落 对于我们每个人 需要的已经不再仅仅是那种放在桌上处理文档 进行工作管理 和生产控制的计算机 机器 各种各样的新型嵌入式系统设备在应用数量上已经远远 超过通用计算机 任何一个普通人可能拥有从大到小的各种使用嵌入式技术的电子产 品 小到 mp3 PDA 等微型数字化产品 大到网络家电 智能家电 车载电子设备 而 在工业和服务领域中 使用嵌入式技术的数字机床 智能工具 工业机器人 服务机 器人也将逐渐改变传统的工业和服务方式 目前嵌入式系统技术已经成为了最热门的 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 3 技术之一 吸引了大批的优秀人才投入其中 1 2 11 2 1 嵌入式系统的概念嵌入式系统的概念 嵌入式系统 Embedded System 是以应用为中心 以计算机技术为基础 软硬件 可裁减的 能满足应用系统对功能 可靠性 成本 体积 功耗等指标的严格要求的 专用计算机系统 它可以实现对设备的控制 监视或管理等功能 嵌入式系统的概念 是相对于通用计算机系统而提出的 通用计算机系统是对执行非嵌入式应用的计算机 系统的统称 它包括硬件和软件两部分 硬件包括处理器 微处理器 存储器及外设器 件和 I 0 端口 图形控制器等 软件部分包括操作系统软件 要求实时和多任务操作 和应用程序 应用程序控制着系统的运行 而操作系统控制着应用程序编程与硬件的 交互作用 有时设计人员把这两种软件组合在一起 这种系统具有软件代码小 高度 智能化 响应速度快等特点 特别适合于要求实时的和多任务的体系 与普通的计算机系统一样 嵌入式系统也是一种软硬件混合系统 整个系统是由 硬件和软件两大部分组成 前者是整个系统的物理基础 它提供软件运行平台和通信 包括人 机交互 接口 后者实际控制系统的运行 硬件部分又包括嵌入式处理器 外围设备和外围电路三个部分 软件部分分为嵌入式操作系统和应用软件两个层次 如 下图 1 1 所示 应应用用软软件件 嵌嵌入入式式操操作作系系统统 处处理理器器外外围围设设备备外外围围电电路路 图 1 1 嵌入式系统软件结构 嵌入式系统的核心是嵌入式微处理器 嵌入式微处理器一般具备以下 4 个特点 1 对实时多任务有很强的支持能力 能完成多任务并且有较短的中断响应时间 从而使内部的代码和实时内核心的执行时间减少到最低限度 2 具有功能很强的存储区保护功能 这是由于嵌入式系统的软件结构已模块化 而为了避免在软件模块之间出现错误的交叉作用 需要设计强大的存储区保护功能 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 4 同时也有利于软件诊断 3 可扩展的处理器结构 以能最迅速地开展出满足应的最高性能的嵌入式微处理 器 4 嵌入式微处理器必须功耗很低 尤其是用于便携式的无线及移动的计算和通信 设备中靠电池供电的嵌入式系统更是如此 如需要功耗只有 mW 甚至 W 级 1 2 21 2 2 嵌入式系统的特点嵌入式系统的特点 嵌入式系统可以称为后 PC 时代和后网络时代的新秀 与传统的通用计算机 数 字产品相比 它具有以下特点 1 嵌入式系统通常是面向特定应用的嵌入式 CPU 与通用型的最大不同就是嵌入式 CPU 大多工作在为特定用户群设计的系统中 它通常都具有低功耗 体积小 集成度 高等特点 能够把通用 CPU 中许多由板卡完成的任务集成在芯片内部 从而有利于嵌 入式系统设计趋于小型化 移动能力大大增强 跟网络的耦合也越来越紧密 2 嵌入式系统是将先进的计算机技术 半导体技术和电子技术与各个行业的具体 应用相结合后的产物 这一点就决定了它必然是一个技术密集 资金密集 高度分散 不断创新的知识集成系统 3 嵌入式系统的硬件和软件都必须高效率地设计 量体裁衣 去除冗余 力争在 同样的硅片面积上实现更高的性能 这样才能在具体应用中对处理器的选择更具有竞 争力 4 嵌入式系统和具体应用有机地结合在一起 它的升级换代也是和具体产品同步 进行 因此嵌入式系统产品一旦进入市场 具有较长的生命周期 5 为了提高执行速度和系统可靠性 嵌入式系统中的软件一般都固化在存储器芯 片或单片机本身中 而不是存贮于磁盘等载体中 6 嵌入式系统本身不具备自举开发能力 即使设计完成以后用户通常也是不能对 其中的程序功能进行修改的 必须有一套开发工具和环境才能进行开发 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 5 1 31 3 视频监控系统的现状与发展视频监控系统的现状与发展 1 3 11 3 1 远程视频监控系统概述远程视频监控系统概述 视频监控系统对于保障人们日常生产和生活的安全具有重要意义 是大型企业诸 如集团化公司 邮电 银行等信息交流广泛的企业生产与管理的必备系统 视频监控 系统也随之经历了三个时代 在九十年代初以前 主要是以模拟设备为主的闭路电视监控系统 称为第一代模 拟监控系统 九十年代中期 随着计算机处理能力的提高和视频技术的发展 人们利 用计算机的高速数据处理能力进行视频的采集和处理 利用显示器的高分辨率实现图 像的多画面显示 从而大大提高图像质量 这种基于 PC 机的多媒体主控台系统称为第 二代数字化本地视频监控系统 九十年代末 随着网络带宽 计算机处理能力和存储 容量的快速提高 以及各种实用视频处理技术的出现 视频监控步入了全数字化的网 络时代 称为第三代远程视频监控系统 第二代和第三代视频监控系统可以统称为数字视频监控系统 数字监控与传统的 模拟监控相比 具有很多优点 1 便于计算机处理 由于对视频图像进行了数字化 所以可以充分利用计算机的 快速处理能力 对其进行压缩 分析 存储和显示 通过视频分析 可以即时发现异 常情况并进行联动报警 从而实现无人值守 2 适合远距离传输 数字信息抗干扰能力强 不易受传输线路信号衰减的影响 而且能够进行加密传输 因而可以在数千公里之外实时监控现场 特别是在现场环境 恶劣或不便于直接深入现场的情况下 数字视频监控能达到亲临现场的效果 3 便于查找 在传统的模拟监控系统中 当出现问题时需要花大量时间 观看录像 带才能找到现场记录 而数字视频监控系统中 利用计算机建立的索引 在几分钟内 就能找到相应的现场记录 4 提高了图像的质量与监控效率 利用计算机可以对不清晰的图像进行去噪 锐 化等处理 通过调整图像大小 借助显示器的高分辨率 可以观看到清晰的高质量的 图像 此外 可以在一台显示器上同时观看 16 路甚至 32 路视频图像 5 系统易于管理和维护 数字视频监控系统主要由电子设备组成 集成度高 视 频传输可利用有线或无线信道 这样 整个系统是模块化结构 体积小 易于安装 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 6 使用和维护 正是由于数字视频监控具有传统模拟监控无法比拟的优点 而且符合当前信息社 会中数字化 网络化和智能化的发展趋势 所以数字视频监控正在逐步取代模拟监控 广泛应用于各行各业 远程视频监控系统是数字视频监控系统的一种 它是以计算机技术为核心 结合 先进的多媒体技术 网络通信技术 数字图像压缩技术的一种远程监控系统 远程监 控系统能将监控现场的监控信息通过计算机网络传输到网络中的其他计算机上 并与 信息管理系统融合在一起 达到远程监控的目的 远程视频监控系统打破了 闭路电视系统 模拟方式的结构 从根本上改变了视 频监控系统信息采集 传输处理 系统控制的方式和结构形式 也标志着监控正在走 向现代 四化 阶段 1 前端一体化 监控系统前端一体化意味着多种技术的整合 嵌入式构架 实用和适应性更强以 及不同探测设备的整合输出 为系统集成化奠定了基础 2 传输网络化 视频监控系统的网络化意味着系统的结构将由集总式向集散式系统发展 集散式 系统采用多层分级的结构形式 将使整个网络系统硬件和软件资源以及任务和负载得 以共享 这也是系统集成与整合的重要基础 3 处理数字化 信息处理数字化意味着信息流的数字化 编码压缩 开放式的协议 具有微内核 技术的实时多任务 多用户 分布式操作系统 以实现抢先任务调度算法的快速响应 硬件和软件采用标准化 模块化和系列化的设计 系统设备的配置具有通用性强 开 放性好 系统组态灵活 控制功能完善 数据处理方便 人机界面友好以及系统安装 调试和维修简单化 容错可靠等功能 4 系统集成化 系统集成化正是由于构建系统的各子系统均实现了网络化和数字化 特别是使视 频监控系统与弱电系统中其他各子系统间实现无缝连接 从而实现了在统一的操作平 台上进行管理和控制 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 7 1 3 21 3 2 远程视频监控系统体系结构远程视频监控系统体系结构 一个比较典型的远程视频监控系统 它涉及到远程监控现场构成 监控中心构成 视频进入计算机网络 视频图像传输 现场及远程多点控制等多方面内容 一般远程 监控系统包括本地和远程监控两部分 由远程监控现场和监控中心组成 在远程监控 现场和监控中心之间通过网络通信线路连接 其典型的结构如图 1 2 所示 现现场场摄摄像像机机现现场场摄摄像像机机现现场场摄摄像像机机 视视频频切切换换矩矩阵阵 编编解解码码器器 现现场场监监控控主主机机 传传输输模模块块 视视 频频 流流 控控 制制 指指 令令 显显示示器器 监监控控中中心心主主机机 视视 频频 流流 控控 制制 指指 令令 接接收收模模块块 传传输输网网络络 图 1 2 远程监控系统典型结构 在每个远程监控现场均有若干摄像机 摄像机的镜头 云台可控 并可加装传感 器 警灯 警号等外围报警设备 每个监控现场由一台配置较好的计算机作为基本监 控中枢 内含视频采集压缩卡和视频服务软件 它对监控现场的视频图像进行实时播 放 实时采集及实时存储 同时还要向监控中心发送实时图像 还可以控制该现场的 摄像机切换 镜头 云台动作 及处理报警信息等 同时它也能接收监控中心发送的 控制命令 并执行相应的操作 监控中心由一台或多台配置相对较高的监控主机组成 在监控中心可以任意对各 个现场实行监控 它既可以完成对远程现场视频图像数据的实时接收 播放 存储及 控制该现场摄像机切换 镜头 云台动作 又可以接收处理各现场的报警信息 监控 人员将在监控中心完成对远程监控现场的监控动作 以及对设备报警进行处理 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 8 主机 视频采集压缩卡 视频图像处理软件 图像发送软件与主控软件 构成了 远程监控中心单元 摄像机及音频 报警采集器为前端采集单元 网络工作站及监控 中心接收控制软件为用户接收单元 各部分协调工作 形成有机而完整的现代化远程 视频监控系统 1 41 4 研究工作研究工作 本课题将要设计并实现一个以 S3C2410 微处理器为核心的家用嵌入式视频服务器 该系统以韩国三星公司的 ARM9 芯片 S3C2410 为主 CPU 同时采用代码开放的操作系统 Linux USB 摄像头采集的视频信号经过处理后经视频压缩算法 MPEG 4 压缩后 通过 内部总线送到 CPU 然后经过 Internet 网络实时传输到用户的监视器上 从而解除了 工作之余对家庭的担忧 论文的研究工作主要集中在一下几个方面 1 系统整体平台的构建 2 USB 摄像头驱动的开发 3 基于 Video4Linux 的视频采集程序的开发 4 基于 MPEG 4 算法的视频数据压缩 5 基于 RTP UDP IP 协议的数据传输 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 9 第二章第二章 嵌入式嵌入式 LinuxLinux 家庭视频监控系统平台设计家庭视频监控系统平台设计 2 12 1 系统的方案设计与原理系统的方案设计与原理 视频监控系统总体结构分为两个部分 视频监控终端设备 视频监控网络平台系 统 视频监控终端设备和视频监控网络平台都直接连接在 Internet 上 通过 RTP UDP IP 协议传递数据 视频监控终端设备负责采集实时视频数据 是整个监护系 统的数据终端 由于整个系统采用模块化的设计方法 所以任何实现我们所定制的彩 信监护终端协议的设备 如果直接连接在 Internet 上即可成为这个系统的一部分 当 监控网络平台发送命令要求获得数据时 终端把实时数据通过 Internet 发送给它 2 1 12 1 1 系统构成系统构成 这是一种客户 服务器模式的结构体系 USB HUB 可以连接比较多的 USB 设备 R RA AM M R RO OM M F FL LA AS SH H S3C2410 微微 处处理理器器 地地址址总总线线 数数据据总总线线 MPEG 4 视视 频频压压缩缩模模 块块 USB HUB USB 视视频频设设备备 其其他他USB 设设备备 Internet 网网络络 用用户户端端监监控控 设设备备 RTP UDP IP 图 2 1 系统总体结构图 图 2 1 中 USB 视频设备所用的是 USB 摄像头 USB 摄像头以及 S3C2410 微处理 器构成整个系统的视频监控终端设备 放在监控现场 而 Internet 网络与用户端监控 设备一起构成监控网络平台 通过网络用户可随时了解监控现场的情况 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 10 2 1 22 1 2 系统工作原理与流程系统工作原理与流程 由图 2 1 可见该系统主要由 CPU 芯片 Flash 芯片 SDRAM 内存 以太网络接口组 成 其中 CPU 采用 SUMSANG 公司的 ARM 系列嵌入式处理器 S3C2410 为了节省开支 在 系统方案中 MPEG 4 音视频编码采用软件算法来实现 它完成对从摄像头传送过来的视 频数据的压缩和编码 根据网络带宽 拓扑结构以及对图像质量的要求 本系统选用 基于 MPEG 4 标准的分层可扩展性编码方案 压缩后的视频数据通过 Internet 网络进 行传输 下面通过系统的应用软件结构来说明系统的工作原理和流程 视视频频监监控控终终端端WEB服服务务器器 CGI程程序序 控控制制指指令令数数据据读读写写视视频频读读写写 摄摄像像头头控控制制 嵌嵌入入式式数数 据据 视视频频调调 度度与与传传 输输 存存储储管管理理与与 调调度度 摄摄像像头头 视视频频编编 码码 网网络络连连接接 TCP IP HTTP TCP IP RTP UDP IP 已已编编码码视视频频 未未编编码码视视频频 图2 2 系统软件结构图 视频监控终端 WEB 服务器的应用软件结构如图 2 2 所示 其主要由 WEB 服务器 CGI 程序 嵌入式数据库 MSQL 视频调度与传输模块 存储管理与调度模块 摄像头 控制模块等几个重要部分组成 系统通过摄像头采集图像 对现场图像进行高速捕捉 然后将捕捉到的图像通过 USB 总线传输到 S3C2410 处理器进行处理 并将图像压缩 保存为 JPEG 格式的文件 程序调用 Encoder 编码器可以将多幅 JPEG 格式的图像合成一段 AVI 视频流 实现视频 回放 这在安全监控 事故鉴定 车辆防盗等领域中都有广泛应用 最后 系统还可 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 11 以通过以太网口或 UART 口将保存的图片和视频流传到服务器上 实现网络监控 视频监控终端 WEB 服务器通过 HTTP 协议与用户端监控设备浏览器软件进行信息交 互 提供其他应用程序模块的接口以及视频数据浏览界面和摄像头控制界面 此外 它还要对用户端的访问权限进行控制 过滤用户端的请求和控制信息 处理多个用户 端的请求和控制的同步和优先级问题 本系统选择适合于嵌入式系统的 Boa WEB 服务 器 Boa 是一个单任务的 HTTP 服务器 支持能够实动态 WEB 技术的 CGI 技术 源代码 开放 性能高 同时服务器程序本身所占空间很小 因而十分适用于嵌入式系统 同 时 本系统采用了 CGI 公用网关接口 来实现动态 WEB 技术 CGI 规定了 WEB 服务器 调用其他可执行程序 CGI 程序 的接口协议标准 WEB 服务器通过调用 CGI 程序实现和 浏览器的交互 也就是 CGI 程序接受浏览器发送给 WEB 服务器的信息 进行处理 将 响应结果再回送给 WEB 服务器及浏览器 CGI 程序可以用任何程序设计语言编写 但是 为了提高可移植性以及执行速度 在此用 C 语言编写的 CGI 程序 1 嵌入式数据库 MSQL 在系统中 用户信息的存储 用户的登录登出 视频设备参数的存储与查询 视 频文件的存储与查询等 都需要一个嵌入式数据库 综合考虑 本系统使用 mSQL MiniSQL 作为本系统的后台数据库 4 mSQL 是一款优秀的嵌入式数据库 体系 结构小巧 占用系统资源少 特别适合在嵌入式 Linux 系统中使用 同时 mSQL 提供 专门的 API 函数 使得用 C 语言编写的 CGI 程序可以与 mSQL 的数据库引擎进行通信 2 存储管理与调度模块 存储管理模块的主要功能是将压缩和编码后的视频信息根据一定的策略存储至磁 盘中特定的区域 并将视频文件信息存储到嵌入式数据库中 以供检索与回放 同时 响应视频调度与传输模块的请求 按照一定的磁盘调度策略和优先级顺序从磁盘中读 取视频数据至内存缓冲区 对于存储管理 本系统采用等长分组存储策略 即将视频 信息按照时序关系分割成若干数据单元 这些数据单元称为分组 将每个分组存储于 一个大小固定的存储单元内 3 视频调度与传输模块 视频调度与传输模块为监控端提供所需的实时视频信息 是该系统能工作的核心 模块 该模块根据所采取的网络传输与控制协议与用户端建立连接 监听用户端的请 求 同时又根据不同的服务类型采取相应的调度策略创建视频流 然后将视频数据分 组 打包 发送到用户端 并根据路由器和用户端反馈的网络状态信息进行差错处理 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 12 和拥塞控制 视频图像的传输质量直接影响系统的监控质量 在设计远程监控系统时 要充分 考虑传输网络因素 在选择网络时 应考虑以下几个因素 数字视频信号虽已经经过压缩 但数据量还是很大 特别是当几路视频信号同时 在网络传输时 大量的数据传输会使得网络变得很拥挤 而这会必然造成数据的延迟 及丢失 这就要求传输网络的带宽要高 一次能传输大量的数据 监控系统一边要求实现远程实时监控 及远程监控现场的情景要实时地显现在监 控中心地主机上 这就要求传输网络地传输速度要很快 因为传输的视频信号的数据量很大 故一般选用效率较高地 UDP 协议传输视频信 号 UDP 是无连接的 不可靠的协议 所以要求传输网络的可靠性要高 这样系统才 能运行得很好 网络传输协议主要是 TCP IP TCP IP 分层模型如图 2 3 所示 应应用用层层 网网络络接接口口层层 网网际际层层 IP 可可靠靠数数据据流流用用户户数数据据包包 UDP 图 2 3 TCP IP 协议分层模型 在 TCP IP 分层模型中 传输层建立在 IP 层之上 包含两种传输协议 传输控制 协议 TCP 和用户数据报协议 UDP TCP 是面向连接的传输协议 在传输数据之前 必 须在发送方和接受方之间建立通信信道 它拥有重传机制和拥塞控制机制 提供高可 靠性的服务 而 UDP 是无连接的数据报传输 它不需要建立连接和撤销连接 而直接 把数据送到接收端 并且还取消了重发校验机制 能够达到较高的通信速率 所以 UDP 的主要特点是传输的高效率 但可靠性较低 一般情况下 TCP 和 UDP 共存于一个网 中 前者提供高可靠性服务 后者提供高效率服务 高可靠性的 TCP 用于对传输质量 要求较高的情形 如文件传输 远程登录等 高效率的 UDP 用于对传输效率要求较高 及网络的可靠性较高的场合 如实时语音图像传输 视频图像传输的数据量大 并且对监控系统来说 用户对图像传输的实时性要求 很高 如果选用可靠性很高的 TCP 会因为 TCP 的建立撤销连接 确认和超时重传等 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 13 很多保证可靠性的措施而大大降低传输的效率 这会造成图像传输很大的延时 失去 实时监控的意义 而选用高效率的 UDP 由于取消了重发校验等机制 能够达到较高的 通信速率 虽然也许会出现少量的丢帧现象 但对数据量很大的视频图像的影响并不 是很大 用户可以接受 并且 随着网络传输技术的发展 出现了很多可靠性很高且 传输很快的网络 基于 UDP 的网络应用在这种网络上会运行的很好 弥补了 UDP 的不 足 根据以上分析在本系统中采用 UDP 网络通讯协议进行视频数据的传输 而采用 UDP 的 IP 传送方式有点播 广播和组播三种 其中组播是服务器只向特定的用户组发送一 个数据包 组中的各用户可以共享这一数据包 而组外的用户却无法接收到 为了达 到多点监控 本系统采用 IP 组播方式 采用组播技术的优点有以下几点 可以让服务 器承担大量客户端的视频数据播送要求 由于数据包拷贝数量和发送目的地址少 大大 减少了网络中传输的数据总量 从而保证较高的服务质量 减小了视频数据流传输的 带宽占用 减轻了服务器的负担 在应用层使用实时传输协议 RTP 进行视频数据的传输 它是一种提供端对端的实 时媒体传输服务的协议 由实时传输协议 RTP 和实时传输控制协议 RTCP 两个部分组成 RTP 用于实时视频数据的传输 而 RTCP 则用来监控实时视频数据的传输 RTP UDP IP 的方式兼顾了视频传输的实时性与 QoS 保证 同时针对传输网络状况的不确定性 还 可以采取一定的拥塞控制和差错控制策略 在第四章将详细分析并给出 RTP 协议的具 体实现 4 摄像头控制模块 该模块主要实现对摄像头的控制 在用户端 用户通过浏览器向 WEB 服务器发送 摄像头控制命令 该命令经 WEB 服务器接收和处理后 再通过 CGI 程序发送给摄像机 控制模块 然后被转换成相应的对摄像头控制的硬件操作指令 从而实现对摄像头云 台镜头的远程控制 5 用户端浏览 用户使用浏览器对监控现场进行监控 浏览器所运行的平台与嵌入式 WEB 服务器 所运行的平台独立 可以使用 Microsoft Internet Explorer 浏览器进行浏览 提高 了该系统的大众化与普及程度 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 14 2 22 2 嵌入式系统开发平台及嵌入式系统开发平台及 LinuxLinux 内核裁剪及移植内核裁剪及移植 鉴于嵌入式系统的专用性 各系统之间的差别是巨大的 但是也要承认很多嵌入 式系统 尤其是应用目标相近的嵌入式系统 其系统的软硬件核心是相似的 视频监 控终端设备采用的是 32 位嵌入式系统 首先根据所选择的 MPU 类型 以公开的嵌入式 Linux 源代码为基础 根据设计的嵌入式目标板的情况修改已经成熟的适用于嵌入式 系统的 Bootloader 程序 然后根据标准 Linux 裁减出合适的内核和文件系统 把这 些固化到目标板 Flash 中 就构成了本文的视频监控终端设备的基板 2 2 12 2 1 嵌入式嵌入式 LinuxLinux 操作系统简介操作系统简介 Linux 操作系统是一种开放源码 可裁剪内核 运行于个人计算机和工作站上的类 UNIX 操作系统 它最初是由一名芬兰学生 Linux Torvalds 开发的 后来成立了一个由 他领导的内核开发小组对 Linux 内核进行了完善 这使 Linux 在短期内就成为了一个 稳定成熟的操作系统 在 x86 Alpha Sparc MIPS PPC Motorola NEC ARM 等硬件 平台上运行稳定高效 作为一种成熟 稳定并在短时间内得到广泛应用的开源操作系 统 Linux 具有一些它自己的特点 1 真正的多用户 多任务操作系统 2 符合 POSIX 标准 3 具有完善的内核编程接口 4 提供 shell 命令解释程序和编程语言 5 提供强大的管理功能 包括远程管理功能 6 具有简单易用的图形用户接口 7 具有大量的应用程序和工具 8 在 Linux 下开发的应用程序有很好的可移植性 由于 Linux 具有开放性 可以支持不同的设备 支持不同的配置 而且成本极低 是一种可以运行于各种硬件平台的操作系统 因此 Linux 进入嵌入式领域己是大势所 趋 其巨大的市场潜力与酝酿中的无限商机吸引了众多的厂商进入这一领域 Linux 用 于嵌入式系统 有它自身的一些优点 1 由于其源代码公开 人们可以任意修改 以满足自己的应用 并且查错也很容 易 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 15 2 遵从 GPL 无须为每例应用交纳许可证费 3 有大量的应用软件可用 其中大部分都遵从 GPL 是开放源代码和免费的 可以 稍加修改后应用于用户自己的系统 4 有大量的免费的优秀的开发工具 且都遵从 GPL 是开放源代码的 5 有庞大的开发人员群体 无需专门的人才 只要懂 Unix Linux 和 C 语言即可 随着 Linux 在中国的普及 这类人才越来越多 所以软件的开发和维护成本很低 6 优秀的网络功能 这在 Internet 时代尤其重要 7 稳定 这是 Linux 本身具备的一个很大优点 8 内核精悍 运行所需资源少 十分适合嵌入式应用 9 支持的硬件数量庞大 嵌入式 Linux 和普通 Linux 并无本质区别 PC 上用到的 硬件嵌入式 Linux 几乎都支持 而且各种硬件的驱动程序源代码都可以得到 为用户 编写自己专有硬件的驱动程序带来很大方便 正是考虑到嵌入式 Linux 具有以上众多 优点 在开发本系统时嵌入式 Linux 作为主要操作系统 为了使 Linux 操作系统能在 所用的开发板上运行 必须进行操作系统的移植 在移植 Linux 操作系统之前先建立 系统编译环境 2 2 22 2 2 交叉编译环境的建立交叉编译环境的建立 基于 Linux 操作系统的应用开发环境一般是由目标系统硬件 开发板 和宿主 PC 机所构成 目标硬件开发板用于运行操作系统和系统应用软件 而目标板所用到的操 作系统的内核编译 应用程序的开发和调试则需要通过宿主 PC 机来 完成 所以称为交叉编译 双方之间一般通过串口 并口或以太网接口建立连接 关系 单独拿出一台 PC 机 在该 PC 上安装桌面的 Linux 操作系统 如 Red Hat Linux9 0 可以采用默认的安装选项 注意要包含 FTP 服务 这台 PC 作为 Linux 服 务器 除管理员以外 一般不直接让其他人去操作 将该 Linux 服务器接入局域网 并新建一些合法用户 以便其他的 PC 机 在此将 其称为工作站 的合法用户能访问到 Linux 服务器 而其他的 PC 机 工作站 仍然使用 Windows 操作系统 需要的软件工具包括 1 ftp 客户端程序 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 16 2 Telnet 工具 3 移植到某一特定 ARM 平台的 Linux 操作系统内核源码 4 GNU 编译工具 可由相关网站下载 在某工作站 PC 上安装 ftp 客户端程序和 Telnet 工具 安装完毕后应该可以在 该工站 PC 和 Linux 服务器之间进行文件的传输 并在工作站 PC 可以通过 Telnet 登 陆到 Linux 服务器 可能需要将 Linux 服务器的防火墙服务关闭才能完成 Linux 服务器的安装 将工作站 PC 上的 Linux 操作系统内核源码压缩包和 GNU 编译工具通过 ftp 传送到 Linux 服务器的某个目录 如合法的用户目录 然后在该目 录下解压 并将 GNU 编译工具安装到默认的工作目录即可 以上工作通过在工作站 PC 使用 Telnet 工具完成 而不需要在 Linux 服务器上进行 Linux 操作系统内核的编 译一般有一个比较固定的步骤 会根据 MakeFile 文件的不同而略有差异 可参考相关 文档 编译的工作在工作站 PC 使用 Telnet 工具完成 按固定的步骤编译内核完成以 后 会在相应目录生成可执行的二进制文件 通过 ftp 将该可执行的二进制文件传回 工作站 PC 然后通过 ADS 或 SDT 下的烧写工具写入开发板的 Flash 即可 2 2 32 2 3 BootloaderBootloader 的架构和功能的架构和功能 Bootloader 引导程序是嵌入式开发很重要的组成部分 它是嵌入式系统上电后执 行的第一个程序 并由它最终将操作系统启动起来并将控制权交给操作系统 Bootloader 引导程序最基本的功能是对硬件系统的初始化和内核启动参数设置并启动 内核 Bootloader 的主要功能有 1 初始化 CPU 的主频 SDRAM 中断 串口等硬件 2 启动 Linux 内核并提供一个 RAMDISK 3 通过串口下载内核或 RAMDISK 到目标板上 4 将修改过的内核或 RAMDISK 写入到 Flash 内 5 为用户提供一个命令接口 在嵌入式系统开发过程中 Bootloader 还与主机通信 不断检测从主机传来的控 制信息和数据信息 完成相应的操作 Linux 运行在保护模式下 但是当机器启动复位的时候却处于实模式下 所以写 Bootloader 的工作也是在实模式之下的 潍坊学院本科毕业设计 论文 潍坊学院本科毕业设计 论文 17 Botloader