（计算机系统结构专业论文）智能家居中视频监控系统的设计与实现.pdf

中文摘要 随着生活水平的提高，人们对家居生活质量提出了更高的要求，家居设备的 质量从单纯的使用质量向全方位的功能质量转变。智能家居技术成为近年来的研 究热点。视频监控系统作为智能家居系统的一部分，在安防方面同样发挥着重要 的作用。 智能家居中视频监控系统与传统的视频监控系统有所不同，其突出的特点主 要表现在以下四个方面：微型化：受家居环境限制，视频服务器需要满足微型、 美观和移动灵活等要求；通用化：家用普通p c 机和普通数字摄像头性能不高， 系统应基于通用设备进行设计开发；无线化：家居整体装修环境不允许被大量 的布线破坏，系统应采用无线数据传输；智能化：在无人实时监控视频信息的 条件下，系统应能检测出可疑入侵。 针对这些特点，本文把嵌入式技术、i n t e r n e t 技术及数字图像处理技术相 结合，设计并实现了一套智能视频监控系统，视频监控部分基于c s 架构，智能 入侵检测部分引入了监控中心的概念，使系统不但能够对家居环境进行远程实时 监控，并能自动进行入侵检测。 本系统服务器端采用嵌入式l i n u x 系统平台，以基于s t r o n g a r m 内核的i n t e l x s c a l ep x a 2 5 5 作为主体处理器芯片。首先建立嵌入式开发环境，在嵌入式l i n u x 下对z c 0 3 0 1 型号u s b 接口摄像头驱动进行加载；接着，对基于c s 架构下视频 服务器应用程序进行修改、优化与移植，并开发了较人性化的用户界面。客户端 以家用p c 机为依托，对图像进行采集、保存、提供远程查看以及入侵检测工作。 在入侵检测模块，系统在获取远程摄像头图像后，利用运动图像检测技术，针对 室内光照等特殊干扰因素，采用时间差分方法对图像序列进行分析，并对传统的 时间差分法进行了改进，采用分块的方式进行处理。在仿真试验中，结果达到了 设计预期的结果。 关键词： 智能家居视频监控运动检测 a b s t r a c t a l o n gw i t ht h ee n h a n c e m e n to fl i v i n gs t a n d a r d ，t h eq u a l i t yo fl i f eh a sb e e ns e ta h i g h e rr e q u e s t h o u s e h o l de q u i p m e n t st r a n s l a t ef r o ms i m p l eu s et oa d d i t i o n a l m u l t i f u n c t i o n a lu s en o w s m a r th o m et e c h n o l o g yb e c o m e st h eh o t s p o ti nr e c e n ty e a r s a sap a r to fs m a r th o m e ，v i d e os u r v e i l l a n c ep l a ya ni m p o r t a n tr o l ei ns e c u r i t ys y s t e m b ed i f f e r e n tf r o mt r a d i t i o n a lv i d e os u r v e i l l a n c e s y s t e m ，s m a r th o m ev i d e o s u r v e i l l a n c es y s t e mh a st h ef o l l o w i n gc h a r a c t e r i s t i c s ：o m i n i a t u r i z a t i o n ：w i t ht h e r e s t r i c t i o n so ft h eh o m ee n v i r o m e n t ，v i d e os e r v e r ss h o u l db em i c r o ，n i c ea n df l e x i b l e t 霪) u n i v e r s a l i t y ：o r d i n a r yp ca n dd i g i t a lc a m e r ad o n th a v eh i g hp e r f o r m a n c e ，s o d e s i g na n dd e v e l o p m e n ts h o u l db eb a s e do nc o m m o ne q u i p m e n t s ( 室) w i r e l e s s ：d a t a s h o u l db et r a n s m i t t e dt h r o u g hw i r e l e s sn e t w o r ks ot h a tt h ee n v i r o n m e n tc a n n o tb e d a m a g e db yw i r i n g ( 至) i n t e l l i g e n t i z e ：s y s t e mc a np r o v i d ei n t r u s i o na u t o d e t e c t i o n a c c o r d i n gt ot h e s ef e a t u r e s ，c o m b i n i n ge m b e d d e dd e v e l o p m e n tt e c h n o l o g yw i t h i n t e r a c tt e c h n o l o g ya n dd i g i t a li m a g ep r o c e s s i n gt e c h n o l o g y ；w ed e s i g na n dc o m p l e t e a ni n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m v i d e os u r v e i l l a n c ep a r ti sb a s e do nc s s t r u c t u r e ，i n t r u s i o na u t o - d e t e c t i o np a r ta d a p t sp ca sm o n i t o rc e n t r e ，s ot h es y s t e m c a np r o v i d er e m o t er e a l t i m em o n i t o r i n ga n di n t r u s i o na u t o - d e t e c t i o n s e r v e ra p p l i c a t i o nr u n su n d e rt h ee m b e d d e dl i n u xs y s t e mp l a t f o r mw h i c h a d o p t s s t r o n g a r mk e r n e li n t e lx s c a l ep x a 2 5 5a si t sc p u f i r s t l y , b u i l dt h ed e v e l o p m e n t e v i r o n m e n t o fe m b e d d e ds y s t e ma n dr e a l i z eu s bd i g i t a lc a m e r ad r i v e ru n d e r e m b e d d e dl i n u x s e c o n d l y , m o d i f y , o p t i m i z ea n dr e p o tt h es e r v e ra p p l i c a t i o n s ，a l s o d e v e l o paf r i e n d l yi n t e r f a c e m o n i t o rc e n t r e ，a sac l i e n t ，c o l l e c ta n ds a v ev i d e o ， p r o v i d er e m o t em o n i t o ra n di n t r u s i o na u t o d e t e c t i o n a d a t p i n gm o t i o nd e t e c t i o n t e c h n o l o g y ，a c c o r d i n gt ot h ei n t e r f e r e n c eo fi n d o o ri l l u m i n a t i o na n do t h e rs p e c i a l f a c t o r s ，t h i sp a p e ra d o p t si m p r o v e dt e m p o r a ld i f f e r e n c em e t h o db yb l o c k i n gt h ee n t i r e i m a g et od e t e c ti n t r u s i o n i nt h es i m u l a t i o ne x p e r i m e n t 。t h er e s u l ts a t is f i e st h e e x p e c t a t i o n k e yw o r d s ：s m a r th o m e ，v i d e os u r v e i l l a n c e ，i n t r u s i o na u t o d e t e c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：啼脊胡和 签字日期：汕p 年6 月配日 学位论文版权使用授权书 本学位论文作者完全了解叁鲞盘堂有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：乔副卜 导师签名： 签字日期：加p 年6 月够日签字日期：沙o p 年6 月仁日 第一章绪论 第一章绪论 1 1 智能家居国内外发展现状及发展趋势 1 1 1 智能家居概念 近年来，随着计算机、自动控制和通信技术的发展，人们的工作方式已经发 生了深刻改变，极大地提高了企业的生产效率，为社会创造了巨大的财富。但是 对于大幅度提高个人和家庭生活水平的作用却十分有限，传统的家居方式并没有 因为信息时代的来临而发生很大变化。进入二十一世纪，社会信息化的进程在逐 步深入，人们对家居环境的舒适性、便利性和安全性方面都有了更高的要求。如 何有效地在家居环境中组建一个智能的家庭信息网络，并通过它对家电设备进行 集中或异地的智能化控制与管理，而且能够与外界进行信息交流，并为人们提供 实时家居环境的各类信息，开发集网络化、智能化、数字化于一体的新型住宅成 为研究热点。这些研究开创了一个新的领域：智能家居系统。 美国麻省理工学院最初将智能家居定义为具有适应性、预测性的职能服务系 统。实现的目标是“将家庭中各种与信息相关的通讯设备、家用电器和保安装置 通过家庭总线技术连接到一个家庭智能化的系统上，进行集中的或异地的监视、 控制家庭中各项工作，并保持着家庭设施与住宅环境的和谐与协调”。 目前的“智能家居 ( s m a r th o m e ) ，又称智能住宅。它利用先进的计算机技 术、嵌入式系统技术、网络通讯技术和传感器技术等，将家中的各种设备( 照明 系统、环境控制系统、安防系统、智能家电等) 有机的连接到一起，实现信息设 备、通信设备、娱乐设备、家用电器、自动化设备、照明设备、监控设备以及水、 电、气表等设备和家庭求助报警设备的互联和管理，以及数据和多媒体信息共享 的系统。将各种与家庭生活工作相关的子系统有机结合在起组成一个舒适的环 境，从而在最大程度上给用户提供高效、便利、舒适与安全的居住环境和工作环 境【1 】【2 】。 1 1 2 国内外发展现状 1 9 7 9 年，美国罗斯福研究所提出了将家电及电器设备的控制线集成在一起 的家庭总线；1 9 8 3 年，美国电子工业协会开始制定家庭电气设计标准，并于1 9 8 8 年编制了第一个适用于家庭住宅的电器设计标准，即：家庭自动化系统与通信 第一章绪论 标准。在2 0 世纪8 0 年代中期，形成了基于智能建筑的家庭自动化概念，并有 相关产品应用，其中最著名的是至今仍在广泛使用的利用电力线作为传输介质的 x 1 0 系统。 世界上第一幢智能建筑于1 9 8 4 年在美国康涅迪格州出现，当时只是对一座 旧式大楼进行了一定程度的改造，采用计算机系统对大楼的空调、电梯、照明等 设备进行监测和控制，并提供语音通信、电子邮件、情报资料等方面的信息服务 p j 。从那以后，美国、加拿大、欧洲、澳大利亚和东南亚等经济比较发达的国家 和地区先后提出了各种智能家居方案。1 9 9 8 年5 月，新加坡举办了“亚洲家庭 电器与电子消费品国际展览会”，在会上展示了模拟的“未来之家”，推出了新加 坡模式的家庭智能化系统。该系统提供了以下功能：三表抄送、安防报警、可视 对讲、集中化监控、家电控制、有线电视接入、电话接入、住户信息留言、家庭 智能控制面板、智能布线箱、宽带网接入、系统软件配置等。 我国自2 0 世纪8 0 年代开始引入智能家居概念至今，智能家居行业得到了飞 速的发展。虽然还未能像美国、日本那样对智能家居行业制定技术标准，但已经 借助智能家居的概念和技术开始建设智能化的住宅小区了。政府有关部门已经将 建设智能化小康示范小区列入重点发展方向，这必然促使智能化从智能大厦建设 向智能化住宅小区，乃至向家庭智能化的方向发展。2 0 0 6 年8 月，由国家经贸 委牵头成立了家庭信息网络技术委员会，信息网络技术体系研究及产品开发已经 被作为国家技术创新的重点专项计划。据悉，国家将投资1 5 亿元人民币支持该 项目的实施。目前，建设部己批准7 个普及型网络社区，而北京市已经计划建设 3 0 个网络社区，总户数将达3 万户。到2 0 1 0 年，我国将有7 0 以上的家庭拥有 i n t e r n e t 入网设备。按照建设部的要求，到2 0 1 0 年，大中城市中5 0 的住宅要实 现智能化1 4 j 。 1 2 视频监控系统综述 近年来，视频监控在各行各业得到广泛的应用。生活中有小区安全监控，电 讯行业有基站监控，银行系统有柜员机监控，交通方面有违章和流量监控等等。 从功能上讲，视频监控可用于安全防范、信息获取和指挥调度等方面。 视频监控系统是对人们无法或不可能直接、即时观察的场所，提供一种实时、 形象、真实的反映被监控对象的画面，作为即时处理或事后分析的一种手段。图 像处理技术是视频监控系统的关键技术之一。近年来，网络、人工智能以及嵌入 式技术也成为视频监控系统的重要相关技术。随着技术的发展，视频监控系统经 历了以下几个发展阶段【5 】： 第一章绪论 第一代：模拟时代。视频以模拟方式采用同轴电缆进行传输，并由控制主机 进行模拟处理。 第二代：半数字时代。视频以模拟方式采用同轴电缆进行传输，由多媒体控 制主机或硬盘录像主机( d v r ) 进行数字处理与存储。 第三代：全数字时代。视频从前端图像采集设备输出是即为数字信号，并以 网络为传输媒介，基于国际通用的网络协议，采用流媒体技术实现视频在网上的 多路复用传输，并通过设在网上的网络虚拟矩阵控制主机，来实现对整个监控系 统的指挥、调度及存储等功能。 现今，视频监控系统已经步入了全数字时代。从根本上改变了视频监控系统 从信息采集、传输处理、系统控制的方式和结构形式，也标志着视频监控系统正 走向“五化”阶段【6 j ： 1 前端一体化：监控系统前端一体化意味着多种技术的融合、嵌入式架构 以及不同设备的整合输出。为系统集成化奠定了基础。 2 传输网络化：传输网络化意味着系统结构将向着集散式系统发展，集散 式系统是采用多层分机的结构形式，将使整个网络系统硬件和软件资源 以及任务和负载得以共享。系统的网络化在某种程度上打破了布控区域 和设备扩展的地域和数量限制，这也是系统集成与整合的重要基础。 3 处理数字化：信息处理数字化意味着信息流的数字化、编码压缩、开放 式的协议，具有微内核技术的实时多任务、多用户、分布式操作系统， 系统设备的配置具有通用性强、开放性好、系统组态灵活、控制功能完 善、数据处理方便、人机界面友好以及系统安装、调试和维修简单化， 容错可靠等功能。 4 系统集成化：系统集成化正是由于构建系统的个子系统均实现了网络化 和数字化，从而实现了在同一的操作平台上进行管理和控制。 5 管理智能化：采用计算机为控制中心，通过系统软件实现控制界面的可 视化，控制环境的多媒体化，可以方便的实现对视频切换、音频切换、 镜头云台控制、报警输入、行动输出录像的智能化控制，进而达到对事 件的分析、统计、处理，实现视频监控的智能化管理。 1 3 问题引出 视频监控系统是智能家居中不可或缺的重要组成部分，它包括安防系统中的 闭路电视监控、入侵检测以及可视门禁等1 7 】i8 1 。传统的闭路电视监控系统的主要 功能是辅助保安系统对建筑物内场景实况的监视。它使管理人员在控制室中能观 第一章绪论 察到监测区域内的情况，为消防、监测区域内各种设备的运行和人员活动提供了 监视手段。它需要和消防报警、门禁、车库管理等子系统之间进行交互联动。目 前的视频监视系统多为独立的一套系统，只能依靠管理人员根据所看到的图像来 对其他控制设备进行操作。这样在管理人员休息或者疏忽的时候，有些情况就不 能得到及时的处理，从而可能造成不必要的损失。 对于智能家居的安防系统，往往所需要了解的并不是具体的图像，而是图像 所包含的内容信息。然而，完整的保存视频信息，会出现视频数据体积太大，存 储成本过高的问题。因此，为了减少数据存储量并获得有用信息，入侵检测和运 动目标跟踪成为视频监控系统的重要组成部分1 9 l 【旧j 。平时，用户可根据需要随时 通过网络查看家中视频信息。当安防系统检测到入侵且报警产生后，系统将按照 预定的报警处理步骤进行处理：将报警信息传递给用户或者小区警卫；保存相关 的报警记录和视频信息并上传至智能家居网络服务器中；用户及相关人员接到报 警之后可以远程查看此时的实时视频。 本文针对智能家居网络视频监控系统的特殊需求，设计了一套基于普通家用 p c 机和嵌入式l i n u x 开发平台的数字式网络视频监控系统。该系统利用无线网 络与家居环境的设备进行通讯，通过互联网实现对整个家居系统的远程监视和控 制。此系统作为智能家居的一部分，可以分为图像采集模块、网络传输模块和运 动目标入侵检测模块。 1 4 本文的组织结构 全文的内容安排如下： 第一章绪论 介绍了课题的研究背景，对智能家居领域和视频监控技术的现状及发展情况 作了简要的说明，明确了课题研究的目标和内容，简要介绍本文所做的主要工作。 第二章智能家居中视频监控系统的设计 介绍了智能家居中视频监控系统的整体设计方案。首先对智能家居的特殊需 求做了详细的分析，然后从具体需求出发，引入了监控中心的概念，并设计了一 套具有针对性的数字视频监控系统，而且对系统的核心部分_ 视频服务器、监 控中心作了详细说明，最后介绍了视频服务器的硬件选型、系统板构成、摄像头 型号等。 第三章智能家居中视频监控系统的实现 本章对嵌入式系统下应用软件开发的环境配置以及系统的核心应用程序视 频数据c s 架构的修改与摄像头驱动移植做了详细的说明。首先，对本系统开发 4 第一章绪论 环境配置作了说明，并对系统中用到的u s b 摄像头的驱动加载作了详细说明。 接着对系统开发的核心l i n u x 的内核模块v i d e 0 4 l i n u x 和s d l 跨平台的多媒体函 数库作了说明，重点介绍了基于c s 架构下视频服务器应用程序的修改、优化与 移植，并开发了较人性化的用户界面。 第四章运动目标入侵检测 本章首先介绍几种主流的运动目标检测方法，并分析了几种方法的优缺点和 适应环境。接着对智能家居系统中室内环境的特殊要求对检测方法作出了选择和 改进，从而确定了检测系统的设计方案。最后对检测系统进行了仿真，仿真结果 表明能够满足智能家居中对入侵检测的需求。 第五章总结与展望 本章对全文作了总结，指出了存在的不足之处，并提出一些需要进一步研究 的问题。 第二章智能家居中视频监控系统的设计 第二章智能家居中视频监控系统的设计 2 1 系统需求分析 视频监控系统是家居安防系统中非常重要的组成部分，而与普通安防系统相 比，在家居系统这个特殊的环境中，视频监控系统有着它特殊的限制： 1 视频采集端数字化j 目前视频采集设备主要分为模拟视频采集和数字视频采集两类。前者技术发 展非常成熟、性能稳定，并在实际工程应用中得到广泛应用，特别是在大、中型 视频监控工程中应用广泛；后者是以计算机图像技术为基础，对计算机进行视频 处理提供了良好的平台，并解决了模拟视频的弊端的技术。 一传统的模拟采集系统只适用于小范围的传输，模拟视频信号的传输工具 主要是同轴电缆，而同轴电缆传输模拟视频信号的距离不大于1 k m ，双 绞线的距离更短。而数字视频监控可以利用网络实现远距离高质量信号 传输，不但克服了模拟视频系统只能在本地进行监控的局限性，传输信 号理论上还可以做到无衰减，可大幅度提高图像品质和稳定性。 传统的模拟采集系统获得的视频信号一般是提供给管理人员查看和留档 的，无法进行自动化的处理。而数字视频则是以视频帧为基础，可以利 用计算机图像处理技术，对其进行处理，以获得有价值的信息。 模拟采集系统的扩展能力差。对于已经建好的系统，如要增加新的监控 点，往往是牵一发而动全身，涉及到重新设计、部署设备等。新的设备 也很难添加到原有的系统之中。 一模拟采集系统无法形成有效的报警机制。在模拟监控系统中，由于很难 利用计算机自动处理技术，大多采用人眼监控机制，难免出现疏漏。 在智能家居环境中，视频采集数字化使用编码压缩和开放式协议，使监控系 统与安防系统中其他子系统间实现无缝连接，并在统一的操作平台上实现管理与 控制，使系统得到了集成，使用户能够进行远程监控的同时，通过图像处理技术 获得更多有用的信息。 2 数据传输无线化 在智能家居环境中，摄像头的位置经常要根据需要进行移动，为了保证采集 端的灵活性，摄像头不能直接与p c 机相连，而是利用嵌入式技术将摄像头、处 6 第二章智能家居中视频监控系统的设计 理器和操作系统紧密捆绑。嵌入式硬件系统是功能专一、专门设计的独立设备， 不受通用计算机系统中其他软硬件的影响，性能上更稳定，且便于安装、维护， 最后通过网络与服务器进行通信。 在传输介质的选择方面要遵循通信成本低、使用便利等要求。如果采用有线 通信，不仅布线麻烦，成本较高，还可能影响家居环境的美观，而且功能升级不 便；而采用无线传输则具有移动灵活、升级方便等优点。目前市场上流行的无线 方式包括红外线、蓝牙、8 0 2 1 l b 等。如果采用红外方案，对方向性要求较高， 无障碍物阻挡，并且距离近，一般通信距离为1 0 米以内，速率低下；蓝牙技术 尽管传输速率大，频率高，但是价格过高，若在家庭中均采用蓝牙设备，会很大 程度的增加开发成本；而采用8 0 2 1l b l l 2 】在具有很多优点：首先，价格低廉，通 过无线布网省略了布线的麻烦，节省了人力物力，降低了开发成本，并且不会破 环家居布局；另外，无线通信方式受地理环境因素制约较小，适应性好；同时， 家庭无线局域网具有扩展性好的优点，在w l a n 增加一个节点，无需像有线网络 那样重新布线，只需将新增设备和无线设备建立连接即可；最后，无线传输数据 非常灵活，几乎可以随时随地的传输数据。 采用无线介质传输尽管有众多的优势，但也存在着无线数据信号抗干扰性 差、容易发生数据丢失、错误、传输距离短等情况。所以无线的传输方式只适合 信息的室内传输，如果需要远程访问，则应该通过有线网络访问服务器端( 即 p c 机) 来进行家居视频监控，这种采用无线与有线相结合的系统解决方案比较 好的弥补了单独使用有线或无线网络进行传输的不足。 3 整体设备低成本 对于普通家庭来说，视频监控和处理工作只能用普通的p c 机和一般通用的 数字摄像头来完成，而家用电脑存储设备的容量极其有限，并且作为安防系统往 往所需要了解的并不是具体的图像，而是图像所包含的内容信息。为了在控制成 本的同时并包存下最有效的信息，在服务器端引入入侵检测和运动目标跟踪模 块，运用图像处理技术在海量的视频帧中获得有价值的信息。 2 2 系统整体架构设计 一般的数字视频监控系统架构采用客户机服务器模式，服务器端包括摄像 头、视频采集卡、视频服务器( 负责编码与解码) 、转发服务器等，视频服务器 将采集处理得到的视频流保存在转发服务器。客户端通过网络访问转发服务器， 获得实时现场监视图像。而一般的转发服务器都是与监控设备捆绑在一起，称为 视频前端，其存储容量和处理能力都受到了很大的限制。如图2 1 所示： 第二章智能家居中视频监控系统的设计 ，_ _ _ 一 r 一厂v 、 撇头夸勰引熬f 蒜。= 爿万 v 图2 - 1 传统数字觇频监控系统架构 本文根据现有流媒体技术、无线网络技术和代理服务器技术的发展情况，提 出了一种新的数字视频监控系统架构，使监控系统具有更高的移动性和通用性， 进一步完善了视频监控系统的功能。这种监控系统增加了监控中心( 家用电脑) 作为中转服务器，视频前端将采集处理得到的音视频流采用标准码流传到监控中 心。监控中心在对现场实时监控的同时，通过图像处理技术进行入侵检测，对可 疑入侵进行报警，并保留影像证据以最有效的利用存储空间。客户端可以通过 i n t e m e t 网络在任何地方观看实时现场图像。视频前端通过无线移动网络 ( 8 0 21 1 b ) 与监控中心连接，客户端通过i n t e r n e t 访问监控中心。该架构拓展了 前端和客户端的移动性，只要有网络，就可以在任何地方对现场进行监控。 整个监控系统构建在无线局域网( w l a n ) 与i n t e m e t 网络之上，主要组成 部分包括摄像头、视频服务器、无线网卡和监控中心( 家用电脑) 。系统蜘l 图2 - 2 所示： 睫靶哮聪 j 。镭，i 一： m i 笋 s 拶矿哆”。l 蒸吲弋j 圈2 - 2 数字视频监控系统架构 各部分功能说明如下： _ 摄像头：采集监控现场数据，通过u s b 口传输给嵌入式处理器处理。 _ 视频服务器( 安装无线网卡) ：对采集到的数据进行解码或编码处理， 并通过无线网络将处理好的数据输出到监控中心。 监控中心：利用图像检测技术对传输来的数据进行分析、识别，当发现 入侵时智能提醒小区保安和崩户。 第二章智能家居中视频监控系统的设计 客户端：为任何一个拥有验证密码的介入局域网的计算机，通过浏览器 访问视频服务器及得到实时监控图像。 2 3 系统硬件平台搭建 1 视频服务器 该视频服务器采用i n t e l 公司的基于s t r o n g a r m 嵌入式处理器芯片i n t e l x s c a l ep x a 2 5 5 作为主体苍片，采用嵌入式l i n u x 操作系统，采用u s b 摄像头 捕捉视频经m p e g 一4 算法压缩编码后，图像通过8 0 2 1 1b 无线网卡通过局域网 传输到宿主机用户使用视频处理应用程序，对图像进行解压，即可查看远程视 频影像。由于此视频服务器基于c s 模式无线传输，视频传感器可移动采集视频， 并可实现多用户同时监控，因而可以使其作为独立的单元存在，并且具有体积小、 处理能力强且功耗低的特点。 视频服务器系统硬件平台选用美国c r o s s b o w 公司的s t a r g a t e 处理机。开发 板由母板和子扳组成，外观特征及部分接口如图2 - 3 所示 图2 - 3 嵌入式系统实验扳 该系统板主要由基本系统和其他的扩展部分组成1 1 ”。基本系统足一个构成计 算机系统的最小系统，包括c p u 、r a m 、r o m 等，其中具体元器件说明见表2 1 ， 硬件结构图见图2 _ 4 ： 第二章智能家居中视频监控系统的设计 表2 1 系统板元器件说明 名称 描述 i n t e lp x a 2 5 5x s c a l e ，4 0 0 m h z 主频 c p u i n t e ls a ii11s t r o n g a r m 多i o 协处理器 r o m3 2 m bf l a s h r a m6 4 m bs d r a m l a n 1 个1 0 1 0 0e t h e r n e t ，i l l 4 5 接口 s e r i a l 1 个r s 2 3 2 ，d b 一9 标准串口 u s b1 个u s bh o s t 型接口( u s b l 1 协议) j t a g1 个双排1 0 针的标准j t a g 接口 图2 4 系统实验板体系结构图 c p u 采用的是i n t e lp x a 2 5 5x s c a l e 芯片【l4 1 ，i n t e lx s c a l e 微体系结构提供了一 种全新的、高性价比、低功耗且基于s t r o n g a r m 体系结构的解决方案，支持1 6 位t h u m b 指令和d s p 扩充。基于x s c a l e 技术开发的微处理器，可用于手机、便携 式终端( p d a ) 、网络存储设备、骨干网( b a c k b o n e ) 路由器等。i n t e lx s c a l e 处理器 的处理速度是i n t e ls t r o n g a r m 处理速度的两倍，其内部结构也有了相应的变化： 数据c a c h e 的容量从8 k b 增加到3 2 k b ；指令c a c h e 的容量从16 k b 增加到3 2 k b ； 微小数据c a c h e 的容量从5 1 2 b 增加到2 k b ；为了提高指令的执行速度，超级流水 线结构由5 级增至7 级；新增乘a n 法器m a c 和特定的d s p 型协处理器c p o ，以提 高对多媒体技术的支持；动态电源管理，使x s c a l e 处理器的时钟可达1 g h z 、功 第二章智能家居中视频监控系统的设计 耗1 6 w ，并能达到1 2 0 0 m i p s 。 x s c a l e 微处理器架构经过专门设计，核心采用了英特尔先进的0 18 | im 工 艺技术制造；具备低功耗特性，适用范围从o 1 m w - - 一1 6 w 。同时，它的时钟工 作频率将接近1g h z 。x s c a l e 与s t r o n g a r m 相比，可大幅降低工作电压并且获 得更高的性能。具体来讲，在目前的s t r o n g a r m 中，在1 5 5 v 下可以获得1 3 3 m h z 的工作频率，在2 0 v 下可以获得2 0 6 m h z 的工作频率；而采用x s c a l e 后，在 0 7 5 v 时工作频率达到1 5 0 m h z ，在1 0 v 时工作频率可以达到4 0 0 m h z ，在1 6 5 v 下工作频率则可高达8 0 0 m h z 。超低功率与高性能的组合使i n t e lx s c a l e 适用于 广泛的互联网接入设备。 其中p x a 2 5 5 处理器是i n t e l 第一代x s c a l e 处理器改进更名而来，主要特点 就是采用了双总线方式使数据传输更快，并增加了低电压( 1 3v4 0 0m h z ) 和 回写数据缓存功能。 2 摄像头 项目中摄像头选择的是中星微z c 0 3 0 1 芯片u s b 摄像头，u s b 接口的普通 摄像头价格低廉，性能较好，常被应用在可视电话、视频聊天和普通的视频监控 等方面。z c 0 3 0 1 是中星微电子设计的第一块p c 摄像头微处理器，这款芯片利 用u s b i 1 的端口来与p c 主机进行沟通，同时芯片内建的图象处理功能包括图 象信号处理0 s p ) ，图象数据压缩及数据传输等。z c 0 3 0 1 的封装是小巧的2 8 p i n l q f p ，并不需要外接d r a m 。强大的内置图象处理功能和j p e g 译码功能使这 款芯片为用户创造出高质量的图象。这款摄像头的主要参数为： 完全兼容u s b l 1 ； 轻巧的2 8 p i nl q f p 封装； _ 可通过外置的e e p r o m 来设定u s b 参数： 支持来源于c m o s 图象传感器的8 b i tr g b 原始图象数据； 支持原始图象数据的输出以达到高质量的静态图象。 第三章智能家居中视频监控系统的实现 第三章智能家居中视频监控系统的实现 由于智能家居视频监控系统受到数字化、网络化和低成本化的限制，视频服 务器必须要以嵌入式系统为硬件开发平台。 3 1 嵌入式终端环境支持 3 1 1 嵌入式操作系统 一、嵌入式系统的概念及分类 嵌入式系统是以应用为中心，软硬件可裁减的，适应于对功能、可靠性、成 本、体积等综合性严格要求的专用计算机系统，亦即为监控系统量体裁衣的专用 计算机系统。 嵌入式系统集软硬件于一体，主要由嵌入式处理器、相关外围硬件设备、嵌 入式操作系统及应用软件系统等组成。嵌入式操作系统是一种实时的，兼容微处 理器的，支持嵌入式系统应用的操作系统软件，它是嵌入式系统极为重要的组成 部分，通常包括与硬件相关的底层驱动软件、系统内核、设备驱动接口、通信协 议、图形界面、标准化浏览器等，嵌入式操作系统【l5 】在系统实时高效性、硬件的 相关依靠性、软件固态化及应用的专用性等方面具有较为突出的特点。 二十世纪七、八十年代，各种嵌入式操作系统得到了蓬勃的发展，随着 i n t e m e t 的飞速发展，面向i n t e m e t 的嵌入式系操作系统已作为主流产品。特别随 着系统级芯片s o c 的发展，嵌入式操作系统已开始能像硬件i p 模块那样，作为 i p 嵌入至芯片中。嵌入式操作系统按其应用对象不同，有以下几类： 基于或与w i n d o w s 兼容： - - w i n d o w c e 、嵌入式l i n u x 、e p o c 一工业与通信( 传统) 类： j v x w o r k s 、p s o s 、q n x 、n e c u l e u s 、v r t x 一单片机类： 一i r m x 、c m x 、i t c o s 面向工n t e r n e t 类： 一p a l m 0 5 、v i s o r 、h o p e n 、p p s m 第三章智能家居中视频监控系统的实现 二、嵌入式l i n u x 系统的优势 随着集成电路规模的不断提高，涌现出大量价格低廉、结构小巧、功能强大 的c p u ，给嵌入式系统提供了丰富的硬件平台。目前限制嵌入式系统发展的瓶 颈突出的表现在软件方面。从二十世纪八十年代开始，出现了一些嵌入式操作系 统，这些操作系统经过不断的发展、逐渐成熟，在各个领域得到了广泛应用。比 较著名的嵌入式操作系统有v x w o r k 、p s o s 、n e c u l e u s 和w i n d o w sc e 等，但这 些商业产品价格昂贵，并不适合中低端的嵌入式系统和家庭个人使用，嵌入式 l i n u x 正是在这样一种市场环境下诞生的。 l i n u x 内核支持多种处理器，包括i n t e lx 8 6 、a r m 、m i p s 、m 6 8 k 、p o w e r p c 、 a l p h a 、i a 6 4 、s 3 9 0 、s u p e r h 等处理器体系结构，很多处理器都可以应用在嵌 入式领域。l i n u x 可以支持实时扩展，目前有数个版本的实时l i n u x 系统，同时 l i n u x 还具有网络功能，满足嵌入式系统对网络越来越多的需求。相比较其它的 嵌入式系统，嵌入式l i n u x 具有以下的优势： 1 实时性高： 管理和驱动中断的机制必须保证实时要求。根据这个要求，大多数嵌入式系 统并不具备严格的实时性，而w i n d o w sc e 基本上不具备实时性的特点。但是， 嵌入式l i n u x 可以很好得满足实时性要求。对i n t e lx 8 6 处理器，实时扩充可以在 l i n u x 系统中很容易进行，r t - l i n u x 就是很好的例子。它主要是把l i n u x 的任务 作为自己的一个任务，因此实时性要求很高的任务不受非实时的l i n u x 的干扰， 可以得到满足。另外还提供了实时任务和l i n u x 的基本核心和其他任务间的接 口。 2 适应与稳定性高： 和其他运行于p c 的系统相比，因为l i n u x 继承了u n i x 优点，在适应和稳定 方面性能是非常突出的。而嵌入式的l i n u x 也是如此，嵌入式l i n u x 不仅支持x 8 6 芯片，而且是一个跨平台的系统，到目前为止可以支持二、三十种c p u 。同时， 嵌入式l i n u x 内核的结构在网络方面是非常完整的。提供了包括十兆、百兆、千 兆的以太网络以及无线网络、t o k e nr i n g ( 令牌环) 、光纤甚至卫星的支持。所以 l i n u x 很适于做通信设备的开发。此外，高可靠性是嵌入式l i n u x 领先于其他嵌 入式操作系统最明显的地方。 3 开发便利： l i n u x 应用于嵌入式系统另外一个显著的优势是可以使用主机模拟的环境进 行开发。一般嵌入式的目的平台不允许安装或者没有足够的资源运行需要编译 器，通过交叉编译，就可以在一个平台上生成另一个平台上的可执行代码，这里 所谓的平台包括两个概念：体系结构和操作系统，即所谓不同的平台既可以是同 第三章智能家居中视频监控系统的实现 一个体系结构运行不同的操作系统，也可以使同一个操作系统运行在不同的体系 结构上。这对应用程序的开发提供了很大的便利。开发者可以在主机平台上编写 和调试程序，测试完成后经过交叉编译生成可执行程序，之后直接将其放到嵌入 式设备中，大大提高了开发效率，并且使得嵌入式系统的开发拥有大量的资源可 以利用。并且，l i n u x 作为开源软件的代表，在达到同样性能的前提下带来的成 本的节省也是巨大的。 本系统的开发环境为： 宿主机为普通p c ： 硬件配置为：c p u - - c e l e r o n ( r ) 3 6 g h z 、内存一5 1 2 m b 、硬盘- - 6 0 g b ； 操作系统为：l i n u xf e d o r a7 0 ( 内核2 6 2 2 ) 目标板为嵌入式系统： 硬件配置为：c p u i n t e lx s c a l e 为内核的p x a 2 5 54 0 0 m h z 、r o m - - 3 2 m b f l a s h 、r a m 一6 4 ms d r a m ： 操作系统为：嵌入式l i n u x ( 内核2 4 1 9 ) 交叉编译工具为： 交叉编译器( a r m 1 i n u x g c c ) 、交叉链接器( a r m 1 i n u x 1 d ) 3 1 2 摄像头驱动的加载 和传统嵌入式开发一样加载过程也采取了宿主机和目标板的加载模式。由于 l i n u x 内核对本项目中使用的z c 0 3 0 1 摄像头并不支持，所以需要自行加载驱动模 块。由于摄像头的厂商开发产品时驱动基本上是基于w i n d o w s 平台的，在l i n u x 下只能选择开源的驱动源码，本系统选择的是s p c a 5 x x 摄像头通用驱动【l6 1 ，在下 面的驱动网址：h t t p ：m x h a a r d f l e e f r 可以下载到针对e m b e d e d 环境的驱动源码。 而且，由于开发s t a r g a t e 下的驱动应用程序需要配置和此s t a r g a t e 相匹配的模拟环 境，还对p c 机的l i n u x 内核做了些更改。 摄像头驱动编译环境的配置步骤 1 在l i n u x 平台下新建一个目录，用于配置环境及开发应用程序，比如在 个人目录下建立a r m l i n u x 目录( x x x x 为个人用户名对应的目录) m k d i r h o m e x x x x a r m l i n u x 2 将l i n u x 2 4 19 t a r g z 复$ 1 至i j h o m e x x x x a r m l i n u x 目录下，提取出源代码 t a r - x v z fl i n u x - 2 4 19 t a r g z 3 将p a t c h 2 4 19 - r i n k 7 g z 放入解压后的l i n u x 一2 4 19 目录，解压 g u n z i pp a t c h - 2 4 19 一r m k 7 g z 4 为l i n u x 2 4 19 打补丁 p a t c h p l p a t c h 2 4 19 - r m k 7 1 4 第三章智能家居中视频监控系统的实现 5 将d i f f - 2 4 1