基于树莓派的无线视频监控系统关键技术研究-集成电路工程硕士论文

学 校 代 码 10459 学号或申请号 201322172101 密 级 专业硕士学位论文 基于树莓派的无线视频监控系统 关键技术研究 作 者 姓 名：李 源 导 师 姓 名：刘玉怀 教授 专 业 名 称：集成电路工程 培 养 院 系：信息工程学院 完 成 时 间：2016 年 5 月 万方数据 A thesis submitted to Zhengzhou University for the degree of Master Research on Key Technologies for Wireless Video Monitoring System Based on Raspberry Pi By Yuan Li Supervisor：Prof. Yuhuai Liu Integrated Circuit Engineering Information Engineering College of Zhengzhou University May 2016 万方数据 原创性声明原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的 成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写 过的科研成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。 本声明的法律责任由本人承担。 学位论文作者： 日期： 年 月 日 学位论文使用授权声明学位论文使用授权声明 本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州 大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的 复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的全部或 部分编入有关数据库进行检索，可以采用影印、缩印或者其他复制手段保存论文和汇编本 学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论文或成果时， 第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。 学位论文作者： 日期： 年 月 日 万方数据 摘要 I 摘要摘要 伴随着计算机网络通信技术、视频编解码技术以及嵌入式技术的迅速发展， 基于嵌入式的网络视频监控系统也随之得到了快速发展，市场上出现了很多关 于嵌入式网络视频监控相关产品，而且对其需求也越来越大，要求越来越高。 本文主要研究如何使用嵌入式开发板结合外接设备搭建无线网络视频监控 系统，主要研究内容为视频图像的采集、视频图像的处理、视频信息的打包与 传输和视频图像的显示，为实现开发体积小、价格低、性能稳定的无线网络视 频监控系统开辟一条新的途径。 本课题是基于Raspberry pi开发平台的嵌入式无线网络视频监控系统的设计 与实现，主要研究内容如下：首先使用 Raspberry pi 开发板连接 USB 摄像头和 USB 无线网卡组成的视频监控系统的硬件平台； 然后在 Raspberry pi 平台上安装 Raspbian 系统， 并进行交叉编译环境的安装和设置以及测试环境的配置； 采用了 Video for Linux two 技术进行视频图像的采集；通过对采集视频图像的格式进行 转换，统一转换为 YUV420 格式，使用 H.264 编码技术对采集到的视频数据进 行编码，采取了基于 IP/UDP/RTP 协议的视频传输技术，通过 WIFI 无线网络搭 建了 Raspberry pi 开发平台与 PC 机之间的 Socket 通信，确保视频采集平台和 PC 端在同一个局域网络中， 实现了两者之间视频的实时传输； 在 PC 端通过 VLC 流媒体播放器来实时接收和播放开发平台上所获取到的视频图像信息，实现了 无线网络视频监控系统模型。 关键字关键字: Raspberry pi；Video for Linux two；H.264；RTP 协议；WiFi 万方数据 Abstract II Abstract With computer network communication technology, video codec technology and the rapid development of embedded technology, embedded- based network video monitoring system has been obtained rapid development, appeared on the market a lot about embedded network video monitoring and related products, but also its demand is more and more widely expanding, the application requirement is becoming higher and higher. This thesis mainly studies how to use the embedded development board combined with external devices for building a wireless network video monitoring system. The main research contents include video image capturing, video image processing, packaging and transmission of video information and video image display. The work is useful for opening up a new way for the realization of the development of small volume, low price,stable performance wireless network video monitoring system. The content of this research is to design and implement the embedded wireless video monitoring systembased on the Raspberry pi development platform. The main works are as following. First use Raspberry pi development board to connect USB camera and USB wireless network card of video monitoring system hardware platform; Then install Raspbian system on the platform of Raspberry pi, and cross compile the environment configuration of installation and setup and test environment; Select the Video for Linux two technology for Video image acquisition; Through the acquisition of video image format conversion, the formats are unified into YUV420, which can be used to encode the video data with H.264 coding technique . By adopting video transmission technology with IP/UDP/RTP protocol, the video acquisition platform and PC in the same local area network can be ensured. socket communication between the Raspberry pi development platform and PC is constructed by the WiFi network to implement the real-time video transmission; In PC terminal, via VLC streaming media player is used to receive and broadcast the real-time video image information on the development platform, achieve a model for 万方数据 Abstract III wireless network monitoring system. Keyword: Raspberry pi;Video for Linux two;H.264;RTP protocol;WiFi 万方数据 目录 IV 目录目录 摘要 . I Abstract II 目录 IV 1 绪论 1 1.1 课题研究背景与意义 . 1 1.2 视频监控系统发展的现状与前景 . 2 1.3 论文研究主要内容 . 4 1.4 论文主要结构安排 . 5 2 无线视频监控系统设计方案和关键技术 7 2.1 系统总体设计方案 . 7 2.2 系统设计方案的可行性论证 . 7 2.3 无线视频监控系统涉及的关键技术分析 . 8 2.3.1 嵌入式技术介绍 . 8 2.3.2 视频采集 V4L2 技术 . 11 2.3.3 H.264 视频编码技术 . 12 2.3.4 无线传输技术 13 3 硬件平台的搭建及开发环境设计 . 15 3.1 视频监控系统的硬件构架 15 3.1.1 Raspberry pi 开发板介绍 15 3.1.2 摄像头和无线网卡的选择 . 16 3.2 开发环境的搭建 17 3.2.1 Linux 系统的选择 . 17 3.2.2 操作系统的安装 18 3.2.3 交叉编译环境的搭建. 20 3.3 应用程序文件进行移植 21 4 视频采集与处理 . 23 4.1 视频采集与处理的整体设计 23 万方数据 目录 V 4.2 基于 V4L2 技术的视频采集 . 23 4.2.1 V4L2 的技术介绍 23 4.2.2 视频采集程序的实现. 25 4.3 视频格式进行转换 27 4.4 H.264 技术对视频数据进行处理 28 4.4.1 H.264 编码分析 . 28 4.4.2 H.264 对数据进行编码 . 29 5 视频传输系统的设计与实现 . 37 5.1 网络传输系统的总体设计 37 5.2 视频传输相关技术分析 38 5.2.1 网络传输协议分析. 38 5.2.2 Socket 通信机制分析 39 5.2.3 H.264 的 NAL 层技术及 RTP 打包 . 40 5.3 无线网络环境的搭建 45 5.4 基于 RTP 的无线视频传输的实现 47 6 系统整体的实现 . 50 6.1 硬件平台设备和网络检查 50 6.2 视频监控系统的实现 51 7 总结与展望 . 55 7.1 工作总结 55 7.2 展望 55 参考文献 57 个人简历、在校期间发表的学术论文与研究成果 60 致谢 61 万方数据 1 绪论 1 1 绪论 1.1 课题研究背景与意义 近年来，随着无线网络技术、计算机信息处理能力和视频监控相关技术的 迅速提高，以及各种视频图像处理技术的出现和广泛应用，基于嵌入式的网络 视频监控系统所具有的优势愈发明显1，其特有的性能稳定、高度集成以及方便 快捷等优点为视频监控系统及设备的整体性能提升创造了必要的条件，为视频 监控系统的快速发展提供可能，使其在更多的领域得到了运用，为其发展提供 了新的思路和方向，开拓个更多的应用市场2。视频监控系统以其高效、直接、 快速、方便、稳定等良好的性能，在社会各个领域得到了良好的快速发展，如 医疗体系、交通体系、安保体系、教育体系、航空体系、消防体系等众多的体 系3，为我们的生活提供了良好的保障，做出了巨大的贡献。 如何运用有限的硬件资源和丰富的网络资源来实现基于嵌入式的无线视频 监控，并实现方便、快捷、高效和高质量的采集视频数据能力4；怎么进行有效 的采集数据，处理数据和传输数据，从而来实现实时、高效的视频监控是目前 无线视频监控领域所研究的重点之一。 我们目前所接触到的基于嵌入式的无线视频监控系统主要是由嵌入式开发 技术、视频监控技术和无线传输等关键技术构成；它比一般的监控系统具有性 能稳定、成本低下、功能强、可扩展性高和可运用范围广等显著优点。基于嵌 入式的无线视频监控系统的发展与其所运用的关键技术有着密不可分的关系5， 伴随着嵌入式技术、视频监控技术和无线传输技术的发展，其必然会得到更加 迅猛快速的发展；其中无线传输技术是当今发展的最快的技术，随着各大移动 通信运营商对无线技术的投入，无线传输技术逐渐深入到我们生活的各个领域， 这就为无线视频监控的推广和使用创造了条件。 在使用 USB 摄像头进行视频图像的采集过程中6，最重要的是应用基于 Linux 的 Vedio for Linux two 标准7-8， 由于 V4L2 较之前版本的 V4L 在功能上有 了很大的提升，很多视频采集系统都采用了 V4L2 这个新的视频采集接口标准， 因此我们将其运用在嵌入式的视频监控的一般性开发过程中就显得特别具有现 实意义和实用价值，进而设计开发了一个基于嵌入式的无线网络视频监控系统， 万方数据 1 绪论 2 在视频通话、实时监控，视频运动测试相关领域都有实际的应用价值。 最近几年新推出的并得到广泛运用的视频压缩编码技术： H.264 视频编码标 准，它较之前我们在视频编码领域所采用的编码技术有了质的飞跃9。它是由编 码功能的视频编码层 （VCL） 及为网络传输而设计的网络提取层 （NAL） 组成10； 在视频编码方面它可以最大限度的进行视频信息的压缩，保证数据的完整性和 有效性，同时也为压缩过的数据的传输节省的网络传输的有效带宽，降低了丢 包率， 为视频的处理和传输提供了质量的保障。 采用 H.264 技术在嵌入式无线视 频监控系统中是未来的发展趋势， 我们通过对 H.264 技术的运用和优化， 达到更 好的视频编码，从而促进无线视频监控系统的深入发展。 1.2 视频监控系统发展的现状与前景 网络数字化是二十一世纪的显著特征，是电子信息技术发展的必然趋势， 伴随着网络数字化的快速发展，在我们的日常生活领域网络数字化显得越来越 重要，给我们的生活和工作带来了很好的帮助。在视频监控系统中采用数字化， 是把采集到的视频图像信息从模拟模式转化为数字模式，不再是依赖于摄像机 的成像技术，改变了传统的视频监控系统的结构，不在是单一的视频采集、视 频信息的处理、信息的传输和显示等构造模式11。而视频监控系统的数字化是 将视频采集信息的数字化、视频信息的编解码和开放式的传输协议全部整合在 一起，使其完美的结合在一起。 模拟视频监控技术和数字视频监控技术是视频监控技术发展的过去时，已 经逐渐被市场所淘汰，随着网络技术的发展，网络视频监控系统成为了当今视 频监控的主流。我们从视频监控技术发展阶段所采用的主要技术，对视频监控 系统的发展的阶段进行了总结： 第一代基于模拟技术的视频监控系统，其主要由图像摄取部分、系统控制、 信号传输和显示存储等组成，但由于其使用的是模拟信号进行传输，因此传输 的距离较短，画面质量不高，而且其监控能力和扩展性能有限，此技术基本上 在市场上已经淘汰。 第二代视频监控系统由于数字技术的飞速发展和引入，发展为数字视频监 控系统，它主要采用了模拟和数字技术相结合的方法，把收集到的视频信号传 输到计算机上，通过其优秀的数据处理功能对视频信号进行处理，大大的改良 万方数据 1 绪论 3 了视频的画面质量，视频采集数据的数字化、视频的压缩与解码、开放式传输 协议的运用，使其得到了很好的发展，但是其管理能力和远程监控能力有限， 而且模数视频的不稳定性，容易丢失数据。 第三代完全基于网络视频监控系统，它不但可以实现高效、稳定的、实时 的视频监控，而且解决了视频图像信息的处理、视频信息的传输和实时的视频 播放等问题。它的主要原理是：开发平台采用微处理器和实时操作系统，结合 视频编码压缩技术和网络技术，将采集来的视频图像信息进行压缩处理，通过 网络传输给 PC 端，实现网络视频的实时监控。此类视频监控系统以其特有的网 络优势，迅速占领了大部分的视频监控的市场，它降低了系统的成本，增强了 可扩展性，通过网络协议技术来实现视频的传输与监控，此类视频监控系统可 以随时的连接到附近的局域网络中，具有不受区域的限制、灵活性高、方便快 捷等特点12-13。较前两代视频监控系统技术，网络视频监控系统具有更加突出 的优点： （1）节约网络资源；我们周围存在着很多已经成熟的局域网络资源，我们 不需要为新的网络视频监控系统而重新进行网络的布局，完全可以采用现有的 网络资源，经过简单的配置和改造就可以实现我们要求的网络视频监控，不需 要浪费其他的网络资源。 （2）可扩展性能好；在其已经成熟可靠的系统下，只要满足简单的网络和 硬件的需求，我们就可以进行系统的扩展，简单方便。 （3）可高效实施远程视频监控；基于网络的摄像机和视频服务器，为实现 远程的视频监控提供了技术支持，高速稳定的网络传输技术，为其提供了质量 保证。 （4）维护费用比较低；由于我们采用的是网络视频的传输，一般问题主要 存在为网络的问题，所以我们只需要重点的维护网络的稳定性，不需要进行全 面的维护。 （5）功能强大、运用灵活；目前市场上出现的最新的基于嵌入式的网络视 频监控系统与之前市场上主流的视频监控系统相比，具有可扩性能好、稳定性 高、实时性能好等优点，而且嵌入式的网络视频监控系统具有低成本、体积小、 安装容易和可运维性能高等独特的优势。所以基于嵌入式的网络视频监控系统 是未来发展的主要方向，具有良好的应用前景。 万方数据 1 绪论 4 1.3 论文研究主要内容 伴随着嵌入式技术的发展趋势以及满足人们对视频监控系统的要求，本文 的嵌入式视频采集系统是以 Raspberry Pi 硬件平台14-15、基于 Linux 的 Raspbian 软件平台的应用系统和 Vedio for Linux two 标准接口技术，以及 H.264 视频编码和 RTP 传输协议的视频采集系统16。 本论文的研究价值：通过对 Raspberry Pi 开发平台各个部分的学习和研究， 以研究目标的实现为目的，搭建硬件开发平台，采用 V4L2 技术来协助开发平台 进行视频数据的采集工作， 采用 H.264 技术进行视频数据的编码工作， 掌握了基 于嵌入式开发平台的视频的采集与处理的关键技术；通过无线技术与 IP/UDP/RTP 相结合实现其无线传输视频数据的功能，为嵌入式视频监控与网络 技术的相结合提供了技术支持；总体来说通过对研究目标的不断的深入的研究， 更好的掌握了 Raspberry pi 平台的硬件架构，V4L2 和 H.264 技术的运用，研究 出了从采集、处理和传输于一体的无线视频采集与传输系统。 本论文设计并实现了基于 Raspberry pi 开发平台，采用其特有的 Linux 操作 系统，搭载外设的 USB 摄像头和 USB 的无线网卡，通过 USB 摄像头和 V4L2 接口技术实现视频的采集， 通过 H.264 技术对其进行视频数据的编码， 接着运用 H.264 的网络提取功能（NAL）与 RTP 技术实现视频数据的打包，最后通过基 于 Socket 技术建立对应的端口通信， 通过 IP/UDP/RTP 协议进行数据的传输， 经 过打包的数据通过无线网络传输给 PC 端，在 PC 端通过设置配置文件，实现多 媒体播放软件 VLC 对视频数据的稳定接收和播放。主要研究内容如下所示： （1）讲述基于 Raspberry pi 开发平台环境的搭建，并针对 Raspberry pi 开 发平台的硬件特性介绍，进行了 Linux -Raspbian 操作系统的安装，以及相应的 外接设备罗技 C270 USB 摄像头和无线网卡的识别和系统环境设置，配置了交 叉编译环境。 （2）确认了系统方案的整体设计，是由视频数据的采集，视频数据的处理 （包括视频格式的转换和 H.264 技术的编码） ，视频数据的传输和 PC 端的接收 与播放等部分组成17。 （3）通过采用 V4L2 技术，提供了视频采集环境的设置、参数的修改和设 备的开启等一系列的接口函数，为我们能够稳定、高效的进行视频数据的采集 提供了可能18。 （4）分析了 H.264 编码标准的关键技术和编码性能，采用了 H.264 编码库 万方数据 1 绪论 5 的部分接口函数与 RTP 协议和 UDP 协议相结合， 完成对视频数据的编码和传输 19-20。 （5）对基于 Raspberry pi 的嵌入式无线网络视频采集系统进行检测，可以 实现视频监控的功能而且视频的效果较好。 1.4 论文主要结构安排 全文总共有六章构成，主要内容安排如下： 第 1 章 绪论：介绍了本文所研究课题的研究背景和意义，目前视频监控系 统领域的发展现状和未来的发展前景，然后对论文的各个章节的主要内容进行 了简洁的叙述。 第 2 章 无线视频监控系统设计方案与关键技术：根据本文对所设计的视频 监控系统的要求，给出系统设计的总体方案以及系统设计中所涉及到的关键技 术。然后介绍了研发过程中涉及的嵌入式技术、视频采集 V4L2 技术、视频编码 H.264 以及 WiFi 传输等相关技术。 第 3 章 硬件平台的搭建及开发环境的设计：首先，搭建了无线视频监控设 备的硬件平台，对本次所用到的开发平台和外接设备（摄像头和无线网络卡） 等硬件设备进行介绍；然后介绍树莓派开发平台所支持的操作系统，以及操作 系统的选择与安装；对其目录文件进行简单的介绍和交叉编译环境的搭建。 第 4 章 视频的采集与处理：主要工作是通过硬件与软件的结合实现视频的 采集系统和 H.264 的视频编码。视频采集部分详细介绍了在 Linux-Raspbian 系 统的环境下采用 USB 摄像头进行视频的采集，并运用了 V4L2 的一些接口函 数对视频采集工具和视频采集参数的控制以及帮助我们对采集视频信息的环境 进行设置， 从而实现视频信息的采集工作； 采用 H.264 视频编码技术对采集到的 视频数据进行编码。 第 5 章 视频传输系统的设计与实现：本章介绍了通过运用 H.264 的网络传 输提取层和 IP/UDP/RTP 协议技术相结合，建立树莓派开发平台与 PC 机之间的 Socket 通信，从而实现视频数据的无线传输。 第 6 章 无线视频监控系统的整体验证：对之前章节讲解的关于无线视频采 集系统的各个部分进行实际的操作和验证，证明理论的有效性；最终实现了集 视频采集、视频处理、视频传输和视频播放为一体的无线视频监控系统。 万方数据 1 绪论 6 第 7 章 总结与展望：对本文所做的工作进行总结和分析，提出本文中所出 现的不足之处，并提出相应的修改意见。 万方数据 2 无线视频监控系统设计方案和关键技术 7 2 无线视频监控系统设计方案和关键技术 2.1 系统总体设计方案 根据对所研究课题的分析结合我们运用到的技术，我们首先需要给出总体 的设计方案，本课题所实现的无线视频监控系统不仅包含着硬件的开发平台， 而且还有就是在开发平台上运行的各种端口函数、驱动程序和应用程序，其中 硬件部分主要有：视频采集部件，视频传输部件和视频显示部件；程序部分主 要有：基于树莓派的操作系统、视频采集程序、视频编码程序、视频传输程序、 PC 机上显示程序等构成。如图 2.1 所示系统设计方案的总体框架。 图 2.1 系统设计方案框图 我们从上系统设计的总体框架图可以看出，我们的整个系统是由视频采集 处理部分、视频的传输部分和视频的播放部分构成。其中基于树莓派硬件平台 设计的视频监控设备主要负责控制摄像头采集数据，以及在系统下对采集到的 视频数据使用相关的技术进行处理；然后通过 WiFi 无线网卡接入局域网络，同 时等待与响应用户请求信息，进行视频数据传输，这里要强调的是在 PC 端采用 VLC 视频播放工具。 2.2 系统设计方案的可行性论证 通过对系统设计方案的分析，确定设计方案的可行性。 1、从监控范围考虑，我们使用的是基于无线网络的视频监控系统，其可监 万方数据 2 无线视频监控系统设计方案和关键技术 8 控的范围是根据无线网络所覆盖的范围所决定的，视频采集平台和监控平台之 间是采用的是固定端口的 Socket 通信。 2、我们所选用的 Raspberry Pi 开发平台采用的是高性能的 RAM Cortex-A7 作为主处理器，它是这个开发板的心脏，它也隶属于 ARM 系列的处理器，ARM 处理器在性能方面具有效率高、功耗小、可扩展性能好等特点，而且 ARM 处理 器有一系列的产品，对应的资源比较丰富，在很多的产品中都得到了应用；本 文采用的 RAM Cortex-A7 处理器是最新的 RAM 处理器，其在功能和性能方面 都得到可很大的提升，为本次课题的实现提供了硬件上的保证；同时配备了 VideoCore 双核 GPU，GPU 支持 Open GL ES 2.0，OpenVG 硬件加速，支持 1080p30 fps H.264/MPEG-4 AVC 高清解码器，可以实现 1Gpixel/s，1.5Gtexel/s or 24GFLOPs，并提供纹理过滤和 DMA 基础架构，为我们使用 H.264 编码技术提 供了保障。 3、本次课题中由于要同时进行多线程的数据处理，如视频数据的采集、视 频数据的编码、视频的压缩和传输、UDP 网络协议的处理等，如果不采用具有 操作系统的开发平台，我们所要进行的处理程序太多，严重影响开发平台的性 能，所以我们在开发平台上安装相应的操作系统来帮助整个系统的开发21。我 们采用的是 Raspberry pi 平台的专有操作系统 Raspbian 系统， 它是基于 Linux 下 的嵌入式操作系统，具有可移植性强、性能稳定、定时的免费更新和丰富的应 用程序，完全可以满足我们的设计需求。 4、使用 V4L2 技术来实现视频采集设备与开发平台之间完美结合，H.264 编码技术进行数据的编码处理，同时结合 IP/UDP/RTP 协议与 WiFi 技术进行视 频数据的高效传输，为整个无线视频监控系统的实现提供了技术支持。 5、目前市场上的视频监控系统大致都采用有线的方式进行视频数据的传 输，但是这样就增加了成本，而且布线非常麻烦，从设计到成功运用周期比较 长，如果采用无线的方式进行视频数据的传输，我们可以非常迅速在我们需要 进行监控的范围内快速的进行布置，而且操作的时间短、成本低。 2.3 无线视频监控系统涉及的关键技术分析 2.3.1 嵌入式技术介绍 1) 嵌入式概念 万方数据 2 无线视频监控系统设计方案和关键技术 9 在信息技术与网络技术飞速发展的现在，社会进入 PC 时代后。嵌入式也深 入地被应用于各个领域，并且不断地网络化、智能化。 从传统意义上定义，嵌入式系统是以强大的计算机技术为核心支撑，但是 它与计算机有着很大的区别，不管是在软件与硬件的基本配置上，还是对功能 的进一步扩展，在系统的稳定性和体积功耗等方面，嵌入式都有着更高的要求， 因为嵌入式注重的是更加实际的应用。虽然有众多不同，但是嵌入式也由硬件 和软件作为基本构成，硬件（各种芯片，组件，模块等）继承在设备内部，软 件则是操作系统与专用软件的集合，通常烧写在 ROM 中22。嵌入式系统的三个 基本特征是“嵌入式” 、 “专用型”和“计算机系统” 。在现如今的社会中，嵌入 式已经深入我们的生活，从信息家电，智能玩具，到交通管理、汽车、医疗、 通讯等方面，基于嵌入式开发的产品已经成为我们生活中不可或缺的一部分。 2) 嵌入式处理器 嵌入式处理器在开发板上起到的作用就像计算机上面 CPU 一样，它是整个 平台的核心部件，常见的如 PowerPC、Intel 386EX、AMD4xx、Motorola 系列、 ARM 等。本课题采用的是基于 Raspberry pi 平台的 RAM Cortex-A7 处理器，属 于 ARM 系列。 我们在现实生活中运用到了很多型号的 ARM 处理器，而且 ARM 处理器经 过产时间的发展，形成了一系列的 ARM 处理器，下面介绍下部分常用的 ARM 处理器： ARM7 系列微处理器 ARM7 系列属于低性能、低能耗系列。它的内核是 0.9MIPS/MHz 的三级流 水线和冯 诺伊曼结构， 运算处理速度为 0.9MIPS/MHz， 主频最高可达 130MIPS， 能胜任绝大多数的复杂应用。ARM7 系列具有极低的功耗，适合对功耗要求较 高的应用，如便携式产品。 ARM10E 系列微处理器 ARM10E 系列通过强化了 DSP 处理能力， 更加的适合于需要高速数字信号 处理的场合。较之前的系列首先是增加到了 6 级的整数流水线，同时主频也得 到了很大的提高达到 400MIPS，很大的提高了其整体的性能，处理数据的能力 明显的提高，可以执行更高层次的系统指令，有效的提高了执行系统指令的效 率。 ARM11 系列微处理器 万方数据 2 无线视频监控系统设计方案和关键技术 10 ARM11 系列属于高性能、低能耗系列。它是 ARM 新指令架构ARMv6 的第一代设计实现，它由 8 级流水线组成，比以前的 ARM 内核提高了至少 40% 的吞吐量。增强了异常和中断处理，使实时任务的处理更加迅速，最高时钟频 率可达 1GHz， 并且能耗很低； 多媒体处理扩展， 使 MPEG4 编码/解码加快一倍。 另外，它提供性能与能耗的调节功能，以满足不同任务的需要。ARM11 内核的 很多特性使它还能充分适应高端嵌入式实时应用系统，如：未来的网络和家庭 娱乐产品。 RAM Cortex-A 系列处理器 Cortex-A 系列处理器属于是颠覆之作，它是一种面向性能密集型系统的应 用处理器内核；它不仅继承了之前 ARM 系列处理器的功能，而且开发出了更多 的功能，是 ARM 开发现阶段最有效的处理器，其成本低、功耗小、功能强大。 通过上面对 ARM 系列的各个型号的处理器进行了简单的介绍和对比， 我们 知道了各个型号的 ARM 处理器的功能，确定使用树莓派开发板上的 RAM Cortex-A7 处理器微处理器作为本系统的处理核心的优越性。 3) 嵌入式操作系统 正如操作系统是计算机的核心一样，一个良好的基于嵌入式的操作系统就 是嵌入式开发平台的灵魂，有了嵌入式操作系统的支持，嵌入式开发系统就会 焕发出更为广阔的功能和和应用，它的优势也会跟随着得到很好的发挥。嵌入 式操作系统跟我们接触到的 Windows 和 Linux 系统不太一样，它对于硬件平台 有着一定的要求，我们如果在一个固定的嵌入式系统中采用嵌入式操作系统， 那么该操作系统就具有专有性，因为它必须符合我们基于嵌入式系统所特有的 属性和对其特殊功能的开发需求。 嵌入式操作系统不仅具有着通用性也具有专有性。通用性是指嵌入式操作 系统是可以根据我们的需求进行相应的剪切和增加，主要指嵌入式操作系统的 内核是可以变动的，而且嵌入式操作系统的资源是比较丰富的，我们可以针对 不同的嵌入式平台制作出最符合其需求的嵌入式操作系统。 嵌入式操作系统以其特有的可移植性、提供丰富的开发资源、大量的开发 工具和技术支持等特性，在嵌入式的开发中得到了很好的运用，而且自身也得 到了更好的发展，内容更加的丰富、使用更加的方便。 Linux 是一种基于 UNIX 发展起来的操作系统，是目前在硬件开发和服务 器行业应用最为广泛的操作系统， 它可以在很多的硬件平台上进行运用如： X86、 万方数据 2 无线视频监控系统设计方案和关键技术 11 ARM 等，你可以根据自己的需求改动系统的开源代码，实现自己独特的需求， 其在生活的各个领域得到了很好的运用和发展。 嵌入式所运用的 Linux 系统， 是一种对 Linux 系统进行删减过的简约版的 Linux 系统，他可以移植到小的硬件开发板上，根据自己的需要我们可以设计专 有的嵌入式 Linux 系统， 目前大部分的嵌入式开发平台都采用基于嵌入式 Linux 系统，它俨然已经成为了嵌入式操作系统中的一个研究热点。 2.3.2 视频采集 V4L2 技术 V4L2（Vedio for Linux two）主要的作用为使程序有发现设备和操作设备的 能力。它主要是采用一系列的回调函数来实现一些功能，例如设置摄像头的频 率、帧频、视频压缩格式和图像参数等等；较 V4L 有着明显的技术的改善和性 能的提高，它为我们提供了更强大的应用范围和扩展空间，它支持对视频数据 的采集和音频信息的捕捉，完全支持外接的多媒体设备，提供了一系列的接口 函数， 为数据的采集工作提供了强有力的技术支持。 本系统采用的便是 V4L2 接 口技术23-24， 它为在开发平台上结合 USB 摄像头进行视频采集提供了技术保障， 我们通过对其进行引用和优化，达到更高效的视频数据采集。 如图 2.2 所示本次运用 V4L2 技术进行视频数据的采集与视频数据的处理过 程。刚开始进行视频数据采集的时候，会不停的把所采集到的视频数据存储到 分配好的缓存空间中，等待缓存中视频数据准备就绪之后，驱动程序就会将其 放入到输出队列之中，随后就会等待着应用程序对其进行处理，对其进行视频 格式的转换或者直接进行 H.264 编码； 在读取队列中的输出视频数据时， 驱动程 序会按照顺序先提取一个缓存区内的视频数据出列，应用程序通过该缓存区域 内的序列号码值获取到相应的缓存区在用户空间中的长度及偏移地址，从而达 到访问数据的目的，当采集的数据被处理完毕之后，该缓存区会被重新释放到 采集队列中。如果应用程序处理输出视频采集数据的速率低于驱动程序处理输 入视频采集数据的速度，就导致所有的缓存区域都在视频采集输出队列，就要 等候应用程序对视频采集输出的处理，然后才可以继续进行视频采集的输入。 万方数据 2 无线视频监控系统设计方案和关键技术 12 图 2.2 视频采集的过程 2.3.3 H.264 视频编码技术 随着视频和图片技术对我们的生活影响的越来越大，人们对视频的显示质 量要求越来越高，这就督促着更好的视频编码技术的产生和运用，促进了视频 编解码技术的发展。近年来视频的编码技术得到了不断的更新换代，新的技术 在视频监控和物联网等领域得到了很好的运用； 其中 H.264 是目前最新的最有效 的国际视频编码的新标准25，它是由 ISO/IEC 与 ITU-T 共同努力联合开发出来 的。H.264 视频编码技术不仅包含了之前以往的各种视频编码功能（如 H.263、 MPEG 和 JPEG） ，而且其编码性能也得到了很大的提升，在其编码率和延迟时 间上有了更大的优势，H.264 采用更小的带宽来实现高质量的视频播放。 H.264与之前的视频编码的国际标准H.263相比有着更为效率的视频编码功 能，处理数据的能力和速度同步提升。它可以通过时间冗余和空间冗余的方法 同时对视频数据进行处理，这样不仅可以在连续的帧图像中，通过获取到当前 帧的图像与后一帧图像的值，找到其之间的变化规律，对后续的帧图像进行简 单的预测；而且通过相邻的图像的像素值（包括亮度和色彩）比较近似或者相 同，也可以对它们其他的相邻点的像素值进行预测，这样就很大程度的提升了 编码的效率和质量。 H.264 的编码性能是高效的，对同样的像素质量下，H.264 进行编码之后产 生的数据量只有 H.263 的 1/2，MPEG4 的 1/3，这样我们就不难看出 H.264 在视 万方数据 2 无线视频监控系统设计方案和关键技术 13 频的编码中可以为我们节省更多的网络带宽，减少了我们的传输时间，有效的 提高了编码的速率26。H.264 可以提供高质量的、实时连续的视频数据，而且它 对于网络的要求没有之前视频编码标准那样严格，它的网络的容错率也得到了 很大的提升，它为我们解决在网络环境不稳定的条件下容易产生数据丢包的问 题。 H.264 不仅包含着数据的编码层，而且还为我们提供了网络的提取层，这样 有助于编码数据在不同的网络环境下进行顺利的传输27-28。编码层采用的是基 于差分脉冲编码的混合编码方式和一些新的编码技术相结合，提升了编码的效 率，与网络提取层的结合可以避免视频编码的数据在传输的情况下发生冲突和 数据的传输不稳定，为其提供很好的网络适应能力，保证视频数据的实时、稳 定的传输。 2.3.4 无线传输技术 无线传输（Wireless transmission）的含义是通过网络的无线技术实现两者或 最多者之间的信息传输。无线的传输技术在我们的日常的生活中得到了很大的 运用，它机动灵活、方便快捷以及成本的逐渐降低得到越来越多厂商和个人的 使用，无线传输技术被广泛的运用在手机通信、互联网、物联网技术和智能家 居等领域，近些年在视频监控系统领域也得到了大力的发展，为视频监控的发 展开拓了新的思路。目前市场上主流的无线传输技术主要有以下几种： （1）4G 无线传输技术：4G 无线传输技术目前主要运用在手机通信领域， 国内目前有移动，联通以及电信提供该服务，它提供了更为高效和稳定的无线 移动网络，4G 是 3G 通信技术与无线通信的结合产物，能够进行高质量的视频 传输和清晰的图片，满足了顾客对网络越来越高的需求。4G 技术支持理论上的 百兆的下载速度，上传数据的速度也可以达到二十兆每秒，而且其覆盖面积非 常广泛、运用简单，被运用在物联网智能网络和安防等领域。 （2）卫星无线传输技术：它具有传输性能高、稳定性好和覆盖面积大等众 多优点，但是其容易受到天气因素的影响，而且卫星无线传输技术的费用比较 昂贵，而且维修的代价太高，大部分运用在军事领域，所以只有在某些特定的 条件下我们才会选择采用这种无线传输技术，一般在选择无线传输技术方面都 不会采用这种方式。 （3）蓝牙技术：蓝牙技术是一种短距离的无线通信技术，支持的传输范围 万方数据 2 无线视频监控系统设计方案和关键技术 14 一般在 10m，而且其可扩展性不好，最多只支持 7 各节点的配置，这就为我们 今后在网络组网的配置方面产生了障碍，而且其传输距离和穿透能力不是很好， 这就阻碍了我们信息的传输，虽然其具有良好的性能、较低的功耗及低成本， 但是不适合作为无线监控系统的传输技术。 （4）WiFi 无线传输技术：WiFi 是以太网的一种无线扩展技术29，如果有 多个用户同时通过一个热点接入，带宽将被这些用户共享，WiFi 的速率会降低， 处于 2.4GHz 频段的 WiFi 信号受墙壁阻隔的影响较小，实现组网简单，覆盖面 积大，WiFi 实际的发射功率只有不到 80mW。WiFi 的传输速率随着技术的演 进还在不断提高，我国电信运营商在构建无线城市中采用的 WiFi 技术部分已经 升级到 802.11n，最高速率从 802.11g 标准的 11Mbps 提高到 50Mbps 以上30。 从上述的分析可知： (1)基于嵌入式的无线视频监控技术是未来发展的主要趋势，有着很大的潜 在市场和发展动力31-32。 (2)在众多的无线传输技术中，只有 WiFi 是最适合与监控系统相结合的，它 的众多优点很好的提高了视频监控系统的灵活性。 (3)嵌入式视频监控系统的发展与无线网络技术的发展是密不可分的33。 万方数据 3 硬件平台的搭建及开发环境设置 15 3 硬件平台的搭建及开发环境设计 3.1 视频监控系统的硬件构架 为了达到我们的实验目标，实现实时稳定的采集数据、数据高效处理和传 输、视频输出质量高的一体系的无线视频监控系统。我们在系统前端采集和处 理部分采用 Raspberry pi 开发板作为开发平台（该开发平台采用最新的主流处理 器 RAM Cortex-A7） ， 使用 USB 摄像头充当视频的采集工具和 USB 无线网卡实 现其 WiFi 通信，我们的监控端采用的是 PC 机。通过 PC 机上的采用视频媒体 播放软件 VLC 来实现视频的远程监控功能。 3.1.1 Raspberry pi 开发板介绍 树莓派是 Raspberry pi 的译名，它是一款基于ARM的微型电脑主板，整体 只有一个银行卡般大小，功耗低、性能强，能够执行 PC 的基本功能，可以进行 文字和表格的处理，看视频，玩游戏等。如图 3.1 所示 Raspberry pi 实物图。 我们采用的是 2 代 B 型的主板， 其拥有 4 个 USB2.0 的接口， 可以外接 USB 设备如：鼠标、键盘、USB 摄像头、USB 无线网卡和存储设备等，大大提高其 扩展能力；它是以 SD 卡作为主要的存储盘，如果我们要在主板上安装嵌入式操 作系统，需要安装在 SD 卡上；还有一个 10/100 的以太网接口；支持高清视频 输出的 HMDI 端口。 图 3.1 Raspberry PI 开发板 万方数据 3 硬件平台的搭建及开发环境设置 16 我们采用的是其 2 代 B 型依然采用之前型号的 RAM 架构， 不过却在配置方 面却发生比较大的变化，其中： SOC（系统芯片）采用 Broadcom BMC2836 CPU 改为 4 核 RAM Cortex-A7 CPU 配备了 VideoCore 双核 GPU，GPU 支持 Open GL ES 2.0，OpenVG 硬件 加速， 支持 1080p30 fps H.264/MPEG-4 AVC 高清解码器， 可以实现 1Gpixel/s， 1.5Gtexel/s or 24GFLOPs，并提供纹理过滤和 DMA 基础架构 同时内存也从 512MB 升级为 1GB USB2.0 设备增加到 4 个（支持 USB hub 扩展） 视频接口采用 HDMI 接口，支持分辨率为 640x350 至 1920x1200，支持 PAL 和 NTSC 制式及 1080 视频输出 音频接口为 3.5mm 插孔的 HDMI 接口（高清晰度多音频/视频接口） SD 卡接口采用 Micro SD 卡接口（支持通过它启动 Linux 操作系统，如 Fedora） 网络接入为 10/100 以太网接口（RJ45 接口） 扩展接口为 40 个 额定功率仅为 1000 毫安（5W） ，电源输入为 5V，通过 MicroUSB 或 GPIO 引脚，总体尺寸仅为 85x56mm 支持的操作系统为： 树莓派专用系统