西北大学大学生创新创业训练计划项目申请表.doc

附件二：大学生创新创业训练计划项目申请表推 荐 院 系信息科学与技术学院项 目 名 称自然交互式智能家居开发项 目 类 型创新训练所属一级学科名称计算机科学技术所属二级学科名称计算机应用技术项 目 负 责 人杨贤亮申 报 日 期2014.11.8西北大学教务处 制二一四年十月项目简介（注：请将字数严格控制在100字以内。） 我们设计的项目是基于语音和手势，兼顾室内和户外的交互式智能家居系统。室内利用讯飞和OpenCV解析用户语音和手势，并映射成红外信号发送给家电进行控制，户外通过移动端向室内终端发送信息控制家电。项目名称交互式智能家居开发项目类型创新训练项目 项目实施时间（打勾）起始时间：2015年1月 完成时间：P2016年5月 2017年5月申请人或申请团队姓名学号专业联系电话E-mail负责人杨贤亮2012118117软件工程15349228006604887589成 员张亚璞2012114106数学与应用数学13571945271894731289田丰源2013118133软件工程188292827342464176643指导教师姓名邢天璋研究方向信号与信息处理、无线传感网络职称讲师学位博士主要成果发表学术论分十余篇；参与多项国家、省部级课题；主持教育厅项目2项；校级项目2项一、项目实施的目的、意义如今，人们对生活品质的追求越来越高，尤其在家居方面，一个安全、便捷的智能家居环境成为了人们所追求的目标。想象这样一些生活场景：当天蒙蒙亮时，面包机和榨汁机已开始为睡梦中的你悄然地工作；当外出工作或游玩时，你可以通过手机了解到各家用电器的工作状况并及时做出调整；当即将回到家中，你还可以用语音和动作任意控制你的家用电器，让它提前为你调试家里温度、烧水做饭；当回到家里，慵懒的你躺在客厅沙发上，只需要一个声音控制或一个简单的手势操作就可以打开电视，挑选自己喜爱的电视台；当夜幕降临时，你躺在已调试好温度的床上，疲惫的你一声“关灯”即可安然入梦；当你现有的家电都是直接在家电上控制，或者是用专门的遥控器，虽然可以完成对家电的控制，但是不够方便，通用性不够，控制范围有限，而且操作较为繁琐。我们所设计的智能家居系统就是要帮助人们简化操作步骤，统一不同电器的操作方法，随时了解家电状态保证居家安全，随时无设备控制家电，方便人类生活。整个项目中不可避免的会遇到以下问题：1. 控制对象难以区分在室内控制中，要准确识别用户信息，首先就要确定控制对象；家电之间空间距离小，不同家电之间名字区分度较小，控制过成中容易出现控制对象判定错误或者无法判定等问题。2. 控制信号解析的成功率和速度难以提高系统识别用户控制信号的成功率和使用时间，直接关系到用户的体验，解析用户语音或者手势出错，可能会造成对家电的错误控制或者控制失败，而响应速度过慢也会影响动作解析的成功率和用户的体验效果；在有限的时空内，识别率和解析速度一般负相关，传统的模式识别难以兼顾成功率和解析速度。3. 红外信号难以统一在确定控制信号之后，终端必须发送红外信号给不同家电，而不同家电接收的红外信号结构有着显著差异，所以统一他们之间的差异非常必要；不同类型家电之间的红外信号长度、类型、解析方法不同，同一类型不同厂商家电的红外信号也存在差异，传统的红外信号发射器不能弥补这种差异。二、项目研究内容和拟解决的关键问题我们研究的整个系统一个是居家控制，另一个是户外控制，其中居家控制使用统一的终端，能够对家电进行语音控制和手势控制，户外直接用移动端链接服务器发送命令。整个系统的研究主要研究的内容包括以下三块：1 控制对象的识别 利用讯飞语音识别实现控制对象的确定因为家中的电器有限，而众多语音识别工具中讯飞在规定范围内的识别效果最好，所以才用讯飞语音识别工具进行控制对象的识别。2 解析成功率及速度的提升 利用讯飞SDK和OpenCV解析语音和手势信号对语音信号采用讯飞SDK辅助识别，系统将语音上传至讯飞服务器，得到对应的解析结果，而服务端提供的识别模版数量庞大，所以在满足带宽的情况下，语音识别的成功率和速度可以保障。对手势信号采用OpenCV辅助识别，系统将用户的手势与手势库进行匹配得到动作，并且OpenCV会学习用户的手势，所以提前让系统学习用户的手势，可以提高手势识别的成功率和速度。3 红外信号的统一 信号自存储和转发机我们采用了模拟遥控器红外信号的方式对广泛的家电进行控制的方案，解决了智能家居普及中与传统家电厂家的协商与合作的难点。对于生活中经常遇到的红外遥控设备数字投影机、DVD、VCD、录像机、电视机等，我们采用各设备集中控制的方式，首先对各设备的红外遥控信号进行识别并存储(自学习），然后在需要时进行还原，以实现控制。系统研究中拟解决的关键问题有：1、 确定控制对象的关键问题 缩小选择范围 为了准确找到控制对象，根据实际情况我们限定控制对象的范围，在识别时将语音和我们制定的范围一道上传给讯飞服务器，以减小控制对象确定错误或失败的概率。2、 解析成功率和速度的关键问题 语音信号的压缩、视频流分解和灰度提取算法 由于语音识别与需要将语音信号上传到讯飞服务器，而服务端是识别效率我们不能控制，这样快速准确上传语音信号直接关系到语音识别的速度和成功率，所以在带宽一定的情况下，如何能不影响识别率的情况下对语音内容进行压缩是决定语音识别速度的关键。 手势识别成功的关键在于如何把手势从连续的视频流图像中分离出来。不同图像灰度不同，边界处一般会有明显的边缘，利用此特征可以分割图像，已以提取特征点，再将输入手势的特征点与各标准手势的特征点进行匹配,通过测量两者之间的相似度来完成识别任务，所以视频流的分解和灰度提取是关键。3、 红外信号的自存储和转发的关键问题 信号学习算法 为了实现红外信号的自存储，我们让终端学习不同设备的红外信号格式，分别存储到对应红外库，实现红外信号的自存储；在发射信号时，根据操作对象，查找到对应的红外库，提取出需要的红外信号并转发。三、项目研究与实施的基础条件学生背景：1. 小组成员具有一定的模式识别和嵌入式开发的相关经验，并掌握了C语言、C+、Qt、Linux、安卓/IOS编程、通信原理、互联网编程、数字电路和模拟电路的基本知识。 2.负责人杨贤亮热爱编程，有探索研究的精神，07，08连续两年获得全国信息学奥林匹克竞赛省一等奖，13年获得西北大学程序设计大赛挑战组一等奖和计算机基础知识竞赛一等奖，第三届“汇博杯”全国大学生信息技术创新应用大赛全国三等奖；小组成员张亚璞喜爱数学，对模式识别算法有着深入了解，曾参加过14年全美大学生数学建模竞赛和全国大学生数学建模竞赛，并获得一定成绩；小组成员田丰源对通信原理有着深入了解，并且对智能家居的开发有浓厚兴趣。3. 该小组组成于2014年3月，是以嵌入式活动小组为单位，组建的开发团队，在团队中各小组成员能做到积极配合，成员间分工明确，有着良好的默契和团队凝聚力。此外，具有刻苦钻研，吃苦耐劳的精神。我组成员已经合作一段时间，有一定的实践经验，能够很好的协调安排，具有良好的沟通能力。项目背景：1. 项目开发依靠西安市发改委工程实验室相关课题展开。开发过程涉及嵌入式开发，模式识别，红外通信和互联网程序设计。该实验室能够提供相应的实践器材，比如调试使用的开发板，耳机，摄像头等，为小组前期实践工作提供实物及测试保障。2. 小组成员前期已经进行了模式识别和通信模块开发工作，对项目所需要的软件和硬件器材都有相应的理论储备和实践训练。四、项目实施方案1、整体设计方案居家控制 我们研究的产品统一各个家电，将控制分为两大模块，一个是居家控制，另一个是户外控制，其中居家控制包括语音控制和手势控制，两个都是由终端解析成动作信号，再解析成红外信号发送给家电；户外直接用移动端链接服务器发送动作信号给终端。整体流程表示如下确定控制对象 语音控制 手势控制家用电器控制信号解析应答红外传输家电应答红外传输移动端操作控制信号解析服务器传输户外控制图1 整体流程2、控制对象的确定语音确定控制对象的算法为了确定控制对象，我们缩小查找范围，建立家电库，并及时更新。用户说出控制对象后，我们将用户语音和家电库同时上传到讯飞服务器，利用语音识别算法得到控制对象的名称。反馈控制对象上传讯飞服务器用户的控制语音家电库新家电添加图2 控制对象的确定流程识别失败3、语音控制方案语音控制模块我们使用国内的讯飞SDK辅助开发。语音控制在确定控制对象之后，系统开始识别控制内容，为了满足成功率和识别速度的保证，先对用户语音进行压缩，之后上传讯飞服务器，在得到单个词语的识别结果后，解析成控制动作执行控制，识别不正确时返回一定的失败信息。语音模块包括语音唤醒、语音识别、语义识别和TTS语音应答。 MIC语音传入语音压缩控制终端上传 讯飞服务器反馈 使用讯飞SDK语言识别TTS语音应答语义识别识别 成功语音控制信号解析红外控制信号家用电器图3 语音控制流程4、手势控制方案手势控制手势识别模块我们使用国外开源的OpenCV辅助开发。用户站在摄像头范围内，系统识别出用户手势，并判断手势移动方向，解析成动作命令，将各个控制信号发送给电器。手势模块主要包括手势学习、手势状态识别和手势移动识别。手部动作识别手部动作学习摄像头视频传入控制终端手势库使用OpenCV库识别 未完成手部移动识别识别 完成手势控制信号解析红外控制信号家用电器图4 手势控制流程5、红外信号的自存储和转发红外信号的统一包括信号的自存储（学习）和转发。自存储时建立统一的红外信号库，每添加一个新家电，建立新模式存储不同的动作；转发时，先根据控制对象，在红外信号库中找到对应的红外模式，再利用结合控制动作和红外模式得到红外信号并转发。红外信号的自存储和转发转发编码查询控制动作控制对象红外信号红外模式电器动作电器类型存储自存储家用电器红外信号库图5 红外信号的自存储和转发流程 6、户外控制方案 在户外，用户需要一个移动终端和一个服务器域名。用户操作移动端UI得到动作命令，通过远程服务器发送给家里的终端，终端发送控制信号。同时，用户也可以打开摄像头查看家里的状态。户外控制用户登录Android/IOS开发选择家电移动端选择动作上传服务器传输控制信号返回家电信息传输至终端红外信号控制返回自身信息家用电器图6户外控制流程五、院系可以提供的条件 经费：院系可以提供一定的设备购买的费用。 知识：实验室有专门做语音、手势和通信的老师及研究生。 设备：可以提供测试用的嵌入式开发板和示波器等。 场地：实验室免费开放。六、预期成果1.一套智能家居的原型系统，在实际家居中测试。2.发表一篇嵌入式的论文。七、经费预算预算科目类型具体项目支出金额（元）备注设备费嵌入式开发板1000采用飞凌嵌入