智能家居人脸监控与环境控制系统的设计与实现.doc

摘要随着我国社会经济的高速发展，社会面临的老龄化问题形势越发严峻，“空巢老人”数量的急剧增长也让社会矛盾越发凸显。如何保证老人独处在家时的安全，成为日益凸显的社会问题。本文设计了一套智能家居人脸监控和环境控制系统，系统通过视频捕捉的方法保障家庭环境，通过人脸识别的方法进行智能家庭监控、自动识别监控范围内的人脸，实现人脸识别门禁。当监测范围内出现陌生人脸或无人脸出现时，自动发送警报，通知人员尽快前往查看。此外，系统还能监测家庭的温度与湿度，针对室内有人、室内无人两种状态，设计两套不同的温湿度模式有人时将温湿度设定为人体最舒适范围，无人时将温湿度设定为室内物体最佳存放范围。系统监测到的环境数值将即时显示在LCD屏上，若传感器监测数值超过原先设定的温湿度，系统将自动开启风扇及除湿机来降低环境温湿度；反之，若监测数值低于设定值，系统将自动关闭风扇及除湿机，使温湿度回升至最佳状态。此系统利用arduino芯片来做传感器数据的接收与处理，以树莓派为硬件载体，利用face+云平台进行云端人脸检测识别结果存储，通过输出信号控制外部组件。系统通过USB接口作为借口与PC端进行通信，并完成数据的实时传输、监控和存储，最后建立环境变化趋势图。整个系统设计完整，功能丰富，针对当前“空巢老人”家庭独居频发的安全问题，提出了一种更为可靠的解决方案。关键字：空巢老人；人脸识别；云平台；传感器；arduino AbstractWith the development of our society, especially with the deepening problem of the aging society, there is no doubt that the number of the “empty nesters” is rapidly increasing. How to ensure the safety of the elderly when they are alone at home has become an increasingly prominent social issue. This article has designed a set of smart home face monitoring and environmental control system. Through video capture, face recognition and other methods, the system automatically recognizes the face within the monitoring range and realizes face recognition access control. When a strange face or unfazed face appears in the monitoring area, an alarm is automatically sent and the personnel are notified to go to view as soon as possible. In addition, the system can also monitor the temperature according to the environment , and humidity of the home. Two sets of different temperature and humidity modes are designed for indoor and outdoor environments. When someone is in use, the temperature and humidity are set as the most comfortable range for the human body. The temperature and humidity are set to the best storage range for indoor objects. The environmental value monitored by the system will be immediately displayed on the LCD screen. If the sensor monitoring value exceeds the previously set temperature and humidity, the system will automatically turn on the fan and dehumidifier to reduce the ambient temperature and humidity; otherwise, if the monitoring value is lower than the set value The system will automatically turn off the fan and the dehumidifier, so that the temperature and humidity will return to the best condition.This system uses the arduino chip to receive and process the sensor data. The Raspberry Pi is used as the hardware carrier and the face+ cloud platform is used for face recognition. The external components are controlled by the output signal. The system can also transfer data to a computer via the USB interface for real-time monitoring and storage of data and establishing a trend map of environmental changes. The entire system is designed to be complete and feature-rich. It will provide a reliable solution to the problem of safe living alone for “empty nesters”.Key words: Empty-Nesters; Face Recognition; Cloud Platform; Sensor; Arduino目录摘要2Abstract3第1章 绪论6第2章 相关技术介绍72.1 Arduino72.1.1 Arduino微控制器72.1.2 人体红外线传感器（Pyro-electric Infrared Detector）82.1.3 温湿度传感器（Temperature and humidity sensors）82.1.4 继电器（Relay）92.1.5 LCD液晶显示器（Liquid Crystal Display）92.2 调研难点92.3 树莓派（Raspberry Pi）102.4 Face+102.5 七牛云存储10第3章 系统设计113.1 人脸识别部分113.1.1 人像集合建立模块113.1.2 Face_token的获取113.1.3 人脸搜索133.2 温湿度控制部分163.2.1 系统流程图163.2.2 软件设计163.2.3 硬件与电路设计18第4章 系统测试204.1 人脸识别部分204.2 温湿度控制部分214.2.1 系统架构214.2.2 环境条件与控制参数设计214.2.3 实验结果与数据统计22第5章 结论24参考文献25第1章 绪论近年来我国经济持续稳定增长，社会快速的发展也带来了严峻的人口老龄化形势，家庭中独居的老人的数量迅速增长带来了日益增长的社会矛盾。人们对于“空巢老人”关注度也迅速上升。有关数据显示，随着我国社会家庭中“空巢老人”的数量急剧增长，独居老人比例也越发加大，到2050年前后，我国的晚年无子女陪伴的老年人的数量或将达到惊人的7900万左右。在这么庞大的老年人群中，长期独居的老年人将占54%以上。如何赡养空巢老人，哪些社会机构应该承担起这份社会责任，如何解决这类社会矛盾再次引发了热烈的社会讨论。此外，老年人因为平衡感失调、骨质疏松、肢体功能障碍等问题，比中青年人更容易摔倒，而老人摔倒后，诱发其他病症的几率也高于年轻人，因此，在子女不在家时，及时监测老人动态，摔倒后及时送往医院救治就有了非常急迫的现实需求。对于一些患有痴呆的老人，他们很容易因为生理的问题忘记自己的住址所在而遗留在街头，并对自身造成严重的危害。此时也需要及时发现老人离开，和老人保持联系。基于以上所述，本系统设计并实现了一套智能家居人脸监控和环境控制系统，系统通过检测人脸进行人脸识别，实现家庭环境下独居老人的实时监管问题。当系统提示出现陌生人脸时，有可能老人遭遇入室抢劫等风险；当系统提示监测不到人脸时，有可能老人外出或因摔倒脱离了视线范围内。以上这些情况，本系统都将及时做出警报提示，帮助子女及时察觉险情，回家查看。另外，本系统还增加了温湿度自动调节功能，在有人和无人两种模式下，将温湿度调至最佳状态。第2章 相关技术介绍2.1 ArduinoArduino是一种开放授权的互动环境开发技术，本文将其应用于环境监控与家电的控制。系统主要由Arduino微控制器，红外线传感器（Pyro-electric Infrared Detector），温湿度传感器，继电器与LCD液晶屏幕显示器构成，接下来将分别探讨其中的功能与差异。2.1.1 Arduino微控制器Arduino是一款开源的有源码参考学习的单芯片微控制器，并且系统搭载在开源的软硬体平台上保障系统的较强移植性。本系统使用Atmel AVR系列单片机，采用更为简易的I/O接口板处理进行系统通信，并且可以使用类似C语言、Java高级语言进行编程以及使用Processing/Wiring作为系统的开发环境。本系统利用Arduino语言编程并结合Macromedia Flash、Processing、Max/MSP、Pure Data和SuperCollider等软件以及Java和make block.cc等开发环境，结合当前通用的电子组件，例如搭载环境传感器以及其他系统控制器件、采用发光二极管（LED）来显示系统信号、步进马达或其他输出装置来保证系统的适用性，做出互动回应。用事，本系统的Arduino也可以独立工作运行，提供一个更为方便简洁的软件沟通界面来提高系统的人机交互性。下图2.1为Arduino nano微控制器的芯片示意图。图2.1 Arduino nano微控制器2.1.2 人体红外线传感器（Pyro-electric Infrared Detector）物体对外辐射出红外线，当红外线照射到材料上时会产生电荷，因此PIR被取名为“焦电型”、“热电型”红外线感测器。该人体红外线感测器是以TGG（三甘氨酸硫酸盐）或PZT（汰酸系压电材料）等强介质所做成的光感测器。PIR能检测人体，主要是Optical Filter对于穿透的波长具选择性，因为人体的体温在36.5C时会辐射出波长为10um的红外线，而Optical Filter设计在波长714um有70%以上的穿透率。图2.2人体红外线传感器原理示意图2.1.3 温湿度传感器（Temperature and humidity sensors）温湿度传感器依照构造、工作原理的不同区分为热敏电阻、白金感温电阻、热电偶，在性能上各显其优缺。湿度感测属于化学性感测，用以测定出大气中的水蒸气含量，而其表示方式包含相对湿度、绝对湿度及露点。一般环境最常使用“相对湿度”来表示空间或状态下的湿度，并为人体感受舒适程度的指标之一。而要求高精确度的场合如工业用途或是研究上，则使用“绝对湿度”作为湿度的衡量。图2.3温湿度传感器实体组件图2.1.4 继电器（Relay）继电器在输入端是一组电磁铁，当电磁铁通过电流时即产生磁性，使输出点断开或闭合达到开关的目的。当电流消失后，输出端又恢复到最初状态。下图2.4为单刀双掷继电器原理示意图图2.4单刀双掷继电器原理示意图2.1.5 LCD液晶显示器（Liquid Crystal Display）LCD的内部构造包含有两块独立的玻璃片，在两片玻璃片之间设置有一个小缝隙，这其中使用一种特别的液晶体物料进行了填充。通过使用这种独特的液晶体物料使光线可透过电极而改变偏光的特性。为了使LCD能达到显示图像的目的，模块设置有许多并列的导体填充在两块玻璃片的内部，通过这种方式，顶部和底部的导体排列互成90度特殊结构，这样每一个交点便成为了一个独特的单元，透过的信号将会输入至每一单元里面从而达到控制图像显示的目的。下图为液晶显示器原理及其光电效应示意图。2.2 调研难点图2.5液晶显示器原理示意图图2.6液晶显示器光电效应示意图2.3 树莓派（Raspberry Pi）树莓派是Broadcom公司出品的一款基于ARM架构的微处理器芯片BCM2835，本系统采用树莓派3b系列作为系统开发板，以SD/MicroSD（TF）卡作为系统的内存存储单元以及数据临时存储所在，系统主板周围集成有一个10/100的以太网接口以及2个USB接口。通过网线接口以及串口通信即可达到连接鼠标、键盘和网线等外部设备的目的。本系统主板还同时集成了视频模拟信号的HDMI高清视频输出接口以及电视输出接口，通过HDMI转接线即可完成外接显示设备的连接。以上的所有部件仅仅集成在了一张仅比信用卡稍大一些的主板上，这使得本系统更加轻便容易携带移植，并具备了目前市场上大部分PC机的基础功能。树莓派3b仅仅通过接通键盘以及外接显示屏即可完成大部分设计功能，包括数据处理、文字处理、高清视频播放等基础功能以及设计游戏等其他辅助功能。目前市场上的Raspberry Pi 3b款仅仅提供核心主板，但并没有提供电源、内存等其他辅助设备的支持。2.4 Face+Face+是视觉服务类的云服务平台，用户可通过云端提供的API、离线SDK，实现人脸检测，人脸识别，面部分析等需求。此外，Face+还提供了面向用户的自主研发产品形式。云平台的使用，使得讲本系统设计的人脸识别功能能够更加容易的拓展移植到今后的更多更复杂的移动互联网应用场景中，这使得本系统兼容性以及社会有用性也大大的提高。2.5 七牛云存储本系统采用七牛云进行云端存储。七牛云平台目前是国内顶尖的公有云服务提供厂商，可提供对海量复杂数据进行高可用、零运维、高性能的处理服务。用户可通过七牛云提供的云服务，实现图片、音频、视频或其他类型数据的同步、异步处理。本系统主要用七牛云做视频截取人像的存储。2.系统设计2.6 人脸识别部分2.6.1 人像集合建立模块首先建立一个自己的人脸库，即创建一个FaceSet（人像集合），用来存储人脸识别后返回的face_token。一个FaceSet可以存储1,000个face_token。实现所需代码如下：人脸集合建立后，可以用来储存人脸标识，并利用faceset_token参数实现人脸的添加、删除、更新等功能。2.6.2 Face_token的获取使用摄像头捕捉图像，对图像中的人脸进行识别与分析，识别成功的人脸会返回一个face_token，为后续的人脸对比等操作提供验证。即使对同一张图片进行多次人脸识别，所得到的face_token也是不同的。将face_token添加到之前建立的人脸库faceset_token中，即把该人脸的特征信息等放入到人脸库中，以便后续的搜索验证等。另外，获取到的图像同时上传到七牛云平台中，以备后期进一步的处理和分析。实现代码如下：根据返回的脸部矩形框的参数，将原图中的人像用矩形框切割，如图3.1所示：图3.1人像切割图同时本系统还能够返回测试者的大致年龄、性别以及是否戴眼镜等其他信息来作为测试者的补充标签。而系统针对每次提交图片返回的face_token，将成为之后进行人脸搜索对比的唯一标识。如图为视频捕捉到的图像，将下图返回的face_token添加进人脸库faceset_token中图3.2视频捕捉图如图显示包含人脸信息唯一标识的face_token，并将其添加入faceset_token中，显示本次添加face_token数为1，faceset_token总共包含face_token数为8：图3.3返回的face_token2.6.3 人脸搜索我们已经建立人脸库faceset_token，并将成员的人脸信息face_token添加进人脸库中。接下来使用摄像头捕捉图像，识别图像中的人脸，并与人脸库中的信息进行搜索比对，判断是否为实验室成员并存储测试的结果。系统会在采集到的人像集合中找出与目标人脸最相似、匹配度最高的一张或多张人脸进行概率统计。系统在使用图片进行比对时，如果有多个人脸采集到的情况下，将会选择所有测试图片中人脸监测尺寸最大最符合预测结果的一个人脸的图片作为结果输出。核心代码如下：捕捉到实验室成员：图3.4捕捉实验室成员 输出相似度，若相似度大于阈值，则为实验室成员，并输出成员姓名：图3.5输出实验室成员相似度 捕捉到非实验室人员：图3.6捕捉非实验室成员 输出相似度，相似度小于阈值，判断为非实验室人员：图3.7输出非实验室成员相似度没有捕捉到人脸：图3.8未捕捉到人脸 输出信息为：there is no face found图3.9系统不返回face_token2.7 温湿度控制部分 2.7.1 系统流程图图3.10系统流程图2.7.2 软件设计在软件的构架上主要分成以下几个步骤：一、连接数据库，定义LCD和传感器的脚位，并且设定其脚位编号与名称。二、设定步骤一中定义的脚位为输入脚位或输出脚位，并且设定LCD屏幕的行列数。图3.11第一阶段程序图图3.12第二阶段程序图三、定义变量，并将读取到的摄氏温度与湿度放进变量中，然后将读取到的温度与湿度数值显示到LCD屏幕上，数值设定为小数点后一位。图3.13第三阶段程序图四、当红外线人体传感器监测到有人时执行程序一，监测到无人时执行程序二。程序一将温度设定为1924度，湿度设定为40%50%；程序二将温度设定为2327度，湿度设定为42%60%。当温、湿度高于设定上限时，启动继电器，风扇和除湿机将被打开，而当温、湿度低于设定下限时，关闭继电器。图3.14第四阶段程序图（有人）图3.15第四阶段程序图（无人）五、将所有传感器监测到的数值和继电器的状态，通过Arduino连接USB传输到电脑，利用Arduino IDE软件编译器，将数值显示在监控视窗。图3.16第五阶段程序图图3.17监控视窗数据显示图2.7.3 硬件与电路设计硬件部分主要分成三个内存块，分别为感测电路、显示电路与驱动及控制电路，所有数据输入输出都通过Arduino微控制器进行分析、判断和执行，以下为各电路所使用的组件与模块零件图。图3.18测电路实际接线图图3.19感测电路组件图图3.20显示电路实际接线图图3.21显示电路组件图图3.22控制电路组件图图3.23控制输出插座图3.系统测试2.8 人脸识别部分系统首先会通过调用PC端的摄像头来获取并采集当前的视频图像，并且在按空格键的同时截图，若截图成功系统便会提示成功的信息。之后通过ESC键即可退出摄像头停止采集视频数据，并且系统会将人脸图片上传至Face+云端进行对比并返回预测结果。本系统通过串口通信与树莓派进行连接，并且在摄像头采集到图像之后即时打印到显示屏上显示，在人为按键截取人脸之后，系统会将采集到的人脸图片上传到云端并与预设结果进行比对，得到返回结果，如果与预设结果相匹配系统便会打开电磁锁，反之系统将会记录采集到的面部特征信息。考虑到可能触犯测试人员的肖像权，我们选择采用网上公开明星照片进行照片相似度比较，测试结果如下：情况一：原图为图4-1，比对图为图4-2，API接口返回数据如图4-3所示，返回结果表明，两张照片的相似度仅为27.054%，所示人物不是同一人。经人眼判断检验可知，系统判断无误。图4.1人脸一图4.2人脸二图4.3相似度为27.054%情况二：原图为图4-4，比对图为图4-5，API接口返回数据如图4-6所示，返回结果表明，两张照片的相似度为97.17%，所示人物为同一人。经人眼判断检验可知，系统判断无误。图4.4人脸三图4.5人脸四图4.6相似度为97.17%2.9 温湿度控制部分2.9.1 系统架构图4.7系统架构实际接线图图4.8系统架构实体图2.9.2 环境条件与控制参数设计以室内居室作为系统测试区域，居室平均温度为25度、湿度为50%，会以暖气、冷气、风扇以及水喷雾器来调整环境参数，以方便控制环境因子以及确保系统功能正常。测试结果如表4-1所示：表4-1环境条件设计情况正常参数情况一情况二情况三温度（）252818-湿度50%-80%2.9.3 实验结果与数据统计将系统配置完成后开机测试，确保系统有正常运作后进行不同情况测试。情况一：利用暖气将室内温度提高至28度，系统会自动开启风扇降温，因为风扇降温的效果并不显着，所需时间也需要较长，所以在暖气开启的情况温度大概也只能降到26度左右，但确实有达到降温的效果。情况二：将暖气关闭后，利用冷气将温度降至18度，然后将冷气关闭。室内温度受到室外温度热传导影响，逐渐上升至室温。在有人的情况下，室内温度低于19度时，系统将自动关闭风扇。若在无人的情况下，温度低于23度时，系统将自动关闭风扇。情况三：将冷气也关闭后，使用水喷雾器向传感器周围喷洒，使环境湿度提高至80%，当湿度高于系统设定的上限值时，系统自动开启除湿机，使环境湿度降至约45%左右，由于气候因素及除湿机性能，湿度降到46%左右后停止测试。图4.10湿度变化图第3章 结论随着社会老龄化程度的加深，“空巢老人”越来越多，如何保证老人独处在家时的安全，成为日益凸显的社会问题。我们通过自动识别监控范围内的人脸，设计了一款基于人脸识别的门禁系统。当监测范围内出现陌生人脸或无人脸出现时，自动发送警报，通知人员尽快前往查看。此外，系统还能监测家庭的温度与湿度，针对室内有人、室内无人两种状态，设计两套不同的温湿度模式有人时将温湿度设定为人体最舒适范围，无人时将温湿度设定为室内物体最佳存放范围。整个系统在后期，可以考虑实现识别人体高度，通过监测人体高度的变化直接做出可能老人可能摔倒的警报。家居环境方面，还可以加入对灯光、窗帘、家用电器等的控制。总体来说，系统设计完整，功能丰富，对“空巢老人”的独居安全问题，提出了可靠的解决方案。参考文献1 毛明毅.智能家庭物联网系统M.机械工业出版社,2015.2 河村雅人等.图解物联网.传感器的架构与运用M.墓峰出版社,2015.3 赵英杰.完美图解Arduino互动设计入门M.科学出版社,2014.4 孙骏荣.Arduino互动设计入门M.科学出版社,2015.5 Martin Evans, Joshua Noble, Jordan Hochenbaum. Arduino完全实战手册M.