中国科学技术大学-欢迎来到中科大软件学院工程实践管理中心

中国科学技术大学软件学院中国科学技术大学软件学院 软件工程实践项目环节软件工程实践项目环节 开题报告开题报告 项项 目目 名名 称 称 基于人脸检测的智能教室控制系统基于人脸检测的智能教室控制系统 成成 员员 名名 单 单 张鹏张鹏 施旺旺施旺旺 贾珅贾珅 李犇李犇 导导 师 师 李春杰李春杰 工工 程程 领领 域 域 软件工程软件工程 研研 究究 方方 向 向 嵌入式系统设计嵌入式系统设计 开开 题题 时时 间 间 2012 年年 12 月月 1 日日 中国科学技术大学软件学院中国科学技术大学软件学院 填表日期 填表日期 2012 年年 12 月月 5 日日 2 一 一 简况简况 中文中文基于人脸检测的智能教室系统 名称名称 英文英文 Auto Control System of Classroom Lighting System based on Face Detect 姓名姓名学号学号项目中的分工签 章 张鹏SA摄像头采集图像及初步处理 施旺旺SA库函数移植及调试 贾珅SAQT 接口及显示 项目组成员名单项目组成员名单 李犇SGOpenCV 核心算法设计 中中 英英 文文 摘摘 要要 本课题主要是针对目前高校教学楼教室的电能资源浪费严重 照明设备 控制和教学管理不足的现状 设计了基于视频图像的教室智能灯控系统 以 达到实现高校教室照明设备的合理使用 节约电能以及改善教学管理的目的 本系统集教室人数检测 教室光照度测量 教室灯光控制 无线传输 上位机监控软件平台于一体 达到了对教室状态的实时检测和对教室照明设 备控制的目的 实现了自动化 智能化和节约话的目标 达到有人开灯 无 人关灯 人多多开灯 人少少开灯的最终目标 This subject is aim to solve the serious energy waste of college teaching building classroom lack of lighting equipment control and teaching management Designing intelligent light control system based on the video image of the classroom in order to achieve the reasonable use of the college classroom lighting equipment saving electrical energy as well as to improve the teaching management purposes This system contains detection of the number of the classroom illuminanci measurements lighting control wireless transmission PC monitoring software platform to achieve real time detection of the state of the classroom achieving the purpose of the classroom lighting equipment control automated control intelligent and saving goals Successfully achieved the target that turn on the lights when someone is in no lights when nobody and more lights when more people less lights when less people 主题词数量不多于三个 主题词之间空一格 英文用主题词数量不多于三个 主题词之间空一格 英文用 分隔 分隔 主题词主题词 中文中文灯光自动控制 人脸检测 3 英文英文Auto control lighting system Face Detect 4 二 选题依据二 选题依据 1 阐述该选题的研究意义 或工程设计的价值和意义 国内外概况和发展趋势 选题的先进阐述该选题的研究意义 或工程设计的价值和意义 国内外概况和发展趋势 选题的先进 性和实用性 技术难度及工作量 性和实用性 技术难度及工作量 1 1 研究意义 基于单片机的高校教室智能照明控制系统是一种集多种照明控制方式 用软件将现代化 数字控制技术和单片机技术集于一身的控制系统 对开发软件和智能控制具有一定学术价值 1 2 国内外概述和发展趋势 目前国内大 中 小学校教室以及公共场合的照明灯具控制大多采用普通开关 需要聘用 相关人员进行照明管理 这样不仅要支付相关费用 而且检查和控制的时间及工作量很大 由 于大多数人节约意识淡薄 即使随手关灯 节约能源的宣传标志贴得再多 仍然收效甚微 如 若采用计算机实施的教学区用电分时控制 仅解决了课余时间的长明灯现象 但在教学时间内 不能解决不合理用电的浪费问题 例如 白天在室内照度很好的情况下开灯 教室内学生很少 的情况下全部开启所有电灯 国外智能照明产品普遍价格过高 而且相关产品往往只是把智能 照明作为其智能产品的子系统来运作 定位高端 应用范围也主要集中于智能小区 商业和家 居等领域 因此容易造成曲高和寡的局势 1 3 选题的先进性和实用性 先进性 利用智能理论知识 建立起基于基于ARM系统的教室节能智能控制系统 实用性 对教室 寝室 家庭 办公室等室内照明系统具有一定的应用价值 对节约能源 智能控制具有实际意义 2 参考文献参考文献 1 孔凡芝 张兴周 谢耀菊 基于 Adaboost 的人脸检测技术 J 应用科技 2005 06 2 严云洋 郭志波 杨静宇 基于特征空间划分的 AdaBoost 人脸检测算法 J 小型微型计算机系统 2007 11 3 张翠萍 苏光大 人脸识别技术综述 J 中国图象图形学报 A2000 11 4 LIENHART R MAYDT J An Extended Set of Haar like Features for Rapid Object Detection 2002 5 三 课题内容及具体方案三 课题内容及具体方案 一 系统工作流程一 系统工作流程 系统运行时 自动从 USB 摄像头通过linux系统的V4L2接口得到YUV格式的帧 转换 成 QImage 格式并实时显示在 LCD屏上 再将其转换成 IplImage 格式 利用 OpenCV 视觉库自带的 Haar Cascade Face Detector 也称为 Viola Jones 方法 进行人脸检测 将 人脸标出通过Qt显示到ARM板的显示屏上 通过图像中人脸位置的变化判断出人进出方向 据此控制教室开关达到合理利用资源 节约用电的需求 摄像头采集数据 一帧图像 QT图像处理 QImage Opencv处理图像 进行人脸识别 Face Detection 检测到人脸 圈出人脸 是 否 图 1 系统流程图 8 二 核心算法二 核心算法 人脸检测是一个研究已久的领域 考虑到这主要是工程项目 我们选用了 OpenCV Open Source Computer Vision Library 这样一个成熟的计算机视觉库 该库 提供了进行人脸检测的API 且经实验验证检测成功率较高 我们要用到的也是该库进行图 像处理的基础数据结构为IplImage 其主要成员定义如下 typedef struct IplImage int nSize IplImage 大小 sizeof IplImage int depth 像素的位深度 IPL DEPTH 8U IPL DEPTH 8S IPL DEPTH 16U 可支持 int dataOrder 0 交叉存取颜色通道 对三通道 RGB 图像 像素存储顺序为 BGR BGR BGR BGR 1 分开的颜色通道 对三通道 RGB 图像 像素存储顺序为 RRR R GGG G BBB B cvCreateImage 只能创建交叉存取图像 int width 图像宽像素数 int height 图像高像素数 struct IplImage maskROI 在 OpenCV 中必须置 NULL int imageSize 图像数据大小 在交叉存取格式下 imageSize image height image widthStep 单 位字节 char imageData 指向排列的图像数据 int widthStep 排列的图像行大小 以字节为单位 IplImage 多分类器级联结构是很多强分类器的组合 它是一种由粗到细的结构 其中每一层是 AdaBoost 算法训练得到的一个强分类器 都经过阈值调整 使得每一层能让全部正例样本 通过 而拒绝很大一部分非人脸样本 使用 OpenCV 中的检测器自带的一个 XML 文件执 行检测 9 三 摄像头采集模块三 摄像头采集模块 V4L2 video for linux 2 是V4L2较V4L有较大的改动 并已成为2 6的标准接口 函盖 video dvb FM 多数驱动都在向V4l2迁移 V4L2采用流水线的方式 操作更简单直观 基本遵循打开视频设备 设置格式 处理数据 关闭设备 更多的具体操作通过ioctl函数 摄像头工作流程如下图所示 图 2 摄像头工作流程图 10 四 四 QT 图像显示接口图像显示接口 我们将使用QtE 4 7 0和Qtopia4 Qt Extended 4 4 3 用来制作开发板的可触屏界面 目前QtE的版本有达到QtE 6 0 1 我采用QtE 4 7 0 一方面是Tiny6410支持QtE 4 7 0 并 且为我们提供了相关的文件和信息 另一方面 该版本Qt能很好的满足我们的需求 比较通 用 适用于工程项目 如果遇到问题 可以很快在通过丰富的网络资源或者宽阔的信息途径 得到好的解决 界面里面主要实现以下几种功能 显示图像功能 显示人脸数目功能 控制和功能按 键功能 显示图像功能 能够实时显示出摄像头传送回来的图像 并且可以用红色圆圈画出图像 中检测到的人脸 相当于一个动态显示检测人脸的显示器 显示人脸数目功能 传送回来的图像以数据流的形式传入开发板中 每个时钟周期 系 统要检测一个帧 利用人脸检测方法可以记录下人脸的个数 可以将人脸的个数显示出来 方便调节其它功能 控制和功能按键功能 包括菜单切换 选择是否开始检查人数 选择是否执行开关灯等 11 四 工作进度的大致安排四 工作进度的大致安排 2012 09 2012 10 了解该设计的研究意义 现状和成果 阅读参考文献 了解硬件 的组成和功能 2012 10 2012 11 现有硬件平台熟悉 掌握现有平台的开发环境程序流程 2012 11 2012 12 分析拟采用的开发方法和测试方案 并完成开题答辩 2012 12 2013 02 代码实现 2013 02 2013 03 上位机测试软件编程 2013 03 2013 04 通用驱动程序编写和典型应用软件开发 对系统进行测试并完善 2013 04 2013 05 工作总结 完成工程实践开题答辩 撰写工程实践课题论文 4 预期成