嵌入式多模态人机交互智能轮椅

1、序号： 编码： 第十一届第十一届“挑战杯挑战杯”大学生课外学术科技作品竞赛大学生课外学术科技作品竞赛作品申报书作品申报书作品名称：作品名称： 嵌入式多模态人机交互智能轮椅 学校全称：学校全称： 南昌大学 申报者姓名申报者姓名 （集体名称）：（集体名称）： 夏嘉廷 范冰飞 吴松林 程鸣 类别：类别：自然科学类学术论文 哲学社会科学类社会调查报告和学术论文 科技发明制作 A 类 科技发明制作 B 类 报送方式：省级报送作品高校直送作品说 明1申报者应在认真阅读此说明各项内容后按要求详细填写。2申报者在填写申报作品情况时只需根据个人项目或集体项目填写 A1 或 A2 表，根据作品类别（自然科学类学术

2、论文、哲学社会科学类社会调查报告和学术论文、科技发明制作）分别填写 B1、B2 或 B3 表。所有申报者可根据情况填写 C 表。3表内项目填写时一律用钢笔或打印，字迹要端正、清楚，此申报书可复制。4序号、编码由第十一届“挑战杯”全国大学生课外学术科技作品竞赛江西赛区组委会办公室填写。5学术论文、社会调查报告及所附的有关材料必须是中文（若是外文，请附中文本） ，请以 4 号楷体打印在 A4纸上，附于申报书后，字数在 8000 字左右（文章版面尺寸 14.522cm） 。6各高校应按照赣青联发20098 号文件中规定的“作品数额分配方案”统一申报作品，每件作品一式五份，并按组委会规定的时间用特快专

3、递寄至或直接送至省组委会办公室。7其他参赛事宜请向团省委学校部或南昌工程学院团委咨询。8作品寄送地址：南昌市天祥大道 289 号南昌工程学院团委第十一届“挑战杯”中国大学生课外学术科技作品竞赛组委江西赛区会办公室联 系 人：夏志红、赵丽芬联系电话：0791传 真：0791邮政编码：A2 申报者情况（集体项目）说明：1必须由申报者本人按要求填写；2申报者代表必须是作者中学历最高者，其余作者按学历高低排列；3本表中的学籍管理部门签章视为申报者情况的确认。姓名夏嘉廷（）性别男出生年月1985-3-27学校南昌大学系别、专业、年级机电工程学院机制 054 班学历在读本科学制4 年入学时间2005-9作

4、品名称嵌入式多模态人机交互智能轮椅毕业论文题目基于 430 单片机的微型机器人遥操作控制研究分析邮政编码通讯地址江西省南昌市红谷滩新区学府大道 999 号南昌大学前湖校区 27 栋 1123 室办公电话邮政编码申报者代表情况常住地通讯地址江西省南昌市红谷滩新区学府大道 999 号南昌大学前湖校区 27 栋 1123 室住宅电话姓 名性别年龄学历所在单位范冰飞()男22本科南昌大学机电工程学院吴松林()男22本科南昌大学机电工程学院程鸣()女21本科南昌大学机电工程学院其他作者情况资格认定学校学籍管理部门意见以上作者是否为 2009 年 7 月 1 日前正式注册在校的全日制非成人教育、非在职的高

5、等学校中国籍专科生、本科生、硕士研究生或博士研究生。是否 （部门签章）年 月 日院、系负责人或导师意见本作品是否为课外学术科技或社会实践活动成果是否负责人签名：年 月 日B3申报作品情况（科技发明制作）说明：1必须由申报者本人填写；2本部分中的科研管理部门签章视为对申报者所填内容的确认； 3本表必须附有研究报告，并提供图表、曲线、试验数据、 原理结构图、外观图（照片）,也可附鉴定证书和应用证书； 4作品分类请按照作品发明点或创新点所在类别填报。作品全称嵌入式多模态人机交互智能轮椅作品分类（ A ）A机械与控制（包括机械、仪器仪表、自动化控 制、工程、交通、建筑等） B信息技术（包括计算机、电信

6、、通讯、电子等） C数理（包括数学、物理、地球与空间科学等） D生命科学（包括生物、农学、药学、医学、健 康、卫生、食品等） E能源化工（包括能源、材料、石油、化学、化 工、生态、环保等）作品设计、发明的目的和基本思路，创新点，技术关键和主要技术指标设计目的设计目的为了帮助残疾人和老年人提高自身的生活自理能力和工作能力，使他们更好地融入社会。为了使智能轮椅能够适用于各类用户和使用场所，在基于嵌入式系统（SPCE061A 单片机）的基础上，设计并研制了具有手动控制、语音控制、超声波自主导航和视觉自主导航四种功能的多模态人机交互智能轮椅。设计基本思路设计基本思路1）语音控制模态对于轮椅的控制，语音

7、控制无非是最自然、最便捷的控制方式。语音控制模态采用凌阳 16 位单片机 SPCE061A 作为系统核心，先通过 MIC 训练语音命令，提取出特征参数并导入到FLASH 中构成语音模型库。识别过程中，利用库函数将待测语音信号与语音模型库中的模型进行相似度比较，识别成功智能轮椅则进行相应的运动。2）超声波自主导航模态超声波自主导航模态采用超声波传感器作为外界信息感知传感器实现轮椅避障控制。超声波由发射端发出，遇到障碍物返回，接收器将超声波信号变成电信号，电信号经过放大、带通滤波和整形后送入 SPCE061A。通过测量从发射超声波到接收超声波的间隔时间计算出轮椅到障碍物之间的距离，再采用适当的控制

8、策略来实现轮椅的实时避障。3）视觉自主导航模态视觉自主导航系统由检测系统，控制决策系统和动力系统三个部分组成。整体的流程为:检测系统采集路径信息，经过控制决策系统分析和判断，由动力系统控制直流电机给出合适的转速，从而控制智能轮椅准确、稳定地行驶。4）多模态人机交互智能轮椅在使用过程中，通过将不同的模态融合起来，能够达到更好的实际效果。将超声波自主避障模态融合到其它三种模态当中，轮椅在执行手动控制、语音控制和视觉自主导航这三种模态指令之前能够自动判断轮椅是否能够安全的执行用户给定的指令，并通过语音播报的形式将信息反馈给用户，从而使得智能轮椅的行驶更加安全可靠。同样，将语音播放技术融合到其它三种模

9、态中，轮椅根据自身的状态能够实时的对用户进行语音提示，从而起到更好的人机交互效果。(其中本作品的演示录像、源程序以及其它相关的材料均已刻录在所附的光盘中。)创新点创新点1) 语音控制模态快速准确的实现了前进、后退、左转、右转和停止这五个控制指令的识别，并在嵌入式系统的基础上实现了语音的在线训练，新用户只需花上几分钟的时间进行语音训练便可实现对智能轮椅的语音控制。2) 超声波自主导航模态能够完成到指定目标的路径规划，实现了智能轮椅的安全避障。3) 视觉自主导航模态实现了在室内不同灯光环境下对不同走向和形状的标识线的跟踪。4) 将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能够

10、安全地执行用户给定的命令，并通过语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强，运行更加安全可靠。5) 基于嵌入式系统的智能轮椅控制器较好的解决了基于通用计算机(笔记本电脑或嵌入式工控机)控制器所存在的成本高、功耗大以及续航能力差等问题，这就向智能轮椅的产业化方向迈进了一大步。技术关键技术关键1) 基于嵌入式系统的多模态人机交互智能轮椅最大的局限性在于系统资源的有限，语音控制模态中五条简单实用的语音控制指令，超声波自主导航模态中适用的控制策略以及视觉自主导航模态中高效的标记线边缘检测算法对智能轮椅的实时控制都起到了极其关键的作用。2) 语音识别、超声波避障和视觉导航技术的相互融合，

11、使得智能轮椅人机交互性更强，运行更加安全、稳定可靠。主要技术指标主要技术指标1) 载荷负重：110kg；2) 续航能力：一次充电续航 20km；3) 最大安全速度：6km/h；4) 越障高度：40mm；5) 爬坡能力：15；6) 智能导航方式：全方向控制手柄，语音控制，超声波自主避障，视觉自主导航；7) 人机交互方式：操纵杆、键盘和语音三种人机交互方式。作品的科学性先进性（必须说明与现有技术相比、该作品是否具有突出的实质性技术特点和显著进步。请提供技术性分析说明和参考文献资料）目前在欧美、日本等发达国家中一些公司已经研制开发出智能程度高、自主能力强的轮椅机器人产品。例如，美国AetiveMed

12、ia 公司的 Robotscehariot 和 AppliedAlSystems公司的 TAO 一 7，日本 AISIN 精机和富士通公司共同研制开发的 TAOAicle 等。但这些智能轮椅产品基本上采用类似于移动机器人的控制系统，采用通用计算机(笔记本电脑或嵌入式工控机)作为上位机，驱动控制系统、传感器系统作为下位机，产品体积大、结构复杂、整体成本很高。中国科学院自动化研究所研制了一种具有视觉和口令导航功能并能与人进行语音交互的机器人轮椅。在轮椅的设计中综合运用有关图像处理、计算机视觉和语音识别等成果，使人能通过语音控制轮椅自由行走，轮椅可以实现简单的人机对话功能。上海交通大学开发成功一种声

13、控轮椅，主要是为四肢全部丧失功能的残疾者设计，使用者只需发出“开” 、 “前” 、“后” 、 “左” 、 “右” 、 “快” 、 “慢” 、 “停”等指令，轮椅可在1.2 秒内响应指令。本文设计并研制了具有手动控制、语音控制、超声波自主导航和视觉自主导航四种功能的多模态人机交互智能轮椅。用户不仅可以选择常规的手动控制模态，通过操作杆控制轮椅运动，还可以在语音控制模态下口头输入命令控制轮椅运动。超声波自主导航模态能够完成到指定目标的路径规划和移动。视觉自主导航模态实现了在室内不同灯光环境下对不同走向和形状标识线的视觉跟踪。同时，将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能

14、够安全地执行用户给定的命令，并通过语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强，运行更加安全、稳定可靠。并且该智能轮椅控制器与其它电动轮椅控制器相比，成本增加不多。因此，我们完全可以相信，在不远的将来，不同类型的智能轮椅将进入普通家庭，智能轮椅将不再是少数人才能用得起的奢侈品。参考文献参考文献1 原魁. 智能轮椅技术发展现状.机器人技术与应用，第一届北京国际康复医学论坛论文集 2006 年.2 徐国华，谭民.移动机器人的发展现状及其趋势.机器人技术与应用，2001,3:5-16.3 邓旭玥, 王 伟, 易建强. 移动机器人导航研究现状及其发展趋势展望.机电工程，2004.4 李庆

15、中，顾伟康，叶秀清.基于遗传算法的移动机器人动态避障路径规划方法.模式识别与人土智能,2002,15(2):161-166.5 刘风然，田红芳，王侃.基于单片机的移动机器人自动避障控制系统.中国仪器仪表，2001,3:27-29.6 O. HORN and A. COURCELLE，Interpretation of Ultrasonic Readings for Autonomous Robot Localization，Journal of Intelligent and Robotic Systems 39: 265285, 2004.7 贾莉娜. 高精度的超声波测距系统在移动机器人导航

16、方面的应用.计量与测试技术，2004:23-26.8 曹玉华，超声测距系统设计及其在机器人模糊避障中的应用，中国海洋大学硕士学位论文，2007，06.9 王炎、周大威，移动式服务机器人的发展现状及我们的研究，哈尔滨工业大学 电气传动，2000，第四期.10 郑利君，动机器人路径规划和避障算法的研究，浙江理工大学学位论文，07，03-26.11 徐国华，谭民.移动机器人的发展现状及其趋势.机器人技术与应用，2001,3:5-1612 邓旭玥, 王 伟, 易建强. 移动机器人导航研究现状及其发展趋势展望.机电工程，2004.13 李庆中，顾伟康，叶秀清.基于遗传算法的移动机器人动态避障路径规划方法

17、.模式识别与人土智能,2002,15(2):161-16614 刘风然，田红芳，王侃.基于单片机的移动机器人自动避障控制系统.中国仪器仪表，2001,3:27-2915 贾莉娜. 高精度的超声波测距系统在移动机器人导航方面的应用.计量与测试技术，2004:23-26.16 杨晶东, 黄庆成, 洪炳镕.双足足球机器人实时避障导航系统研究J.机器人, 2005, 27(6): 530534.17 高庆吉, 洪炳熔, 阮玉峰.基于异构双目视觉的全自主足球机器人导航J.哈尔滨工业大学学报, 2003, 35(9): 10291032.19 谭定忠, 王启明, 李金山等.一种光电式机器人路标的研究J.机

18、床与液压, 2004: 927928.作品在何时、何地、何种机构举行的评审、鉴定、评比、展示等活动中获奖及鉴定结果作品所处阶 段（ A ）A 实验室阶段 B 中试阶段 C 生产阶段D （自填）技术转让方式作品可展示的形 式 实物、产品 模型 图纸 磁盘 现场演示 图片 录像 样品使用说明及该作品的技术特点和优势，提供该作品的适应范围及推广前景的技术性说明及市场分析和经济效益预测使用说明使用说明对于残疾程度较轻、肢体能动性较高且意识较好的人群，用户可以选择常规的手动控制模态，通过操作杆和按键来控制轮椅的运动。而对于残疾程度较高、肢体能动性较低的人群，用户可以选择通过语音来控制轮椅的运动。新用户只

19、需花上几分钟的时间进行语音训练便可实现对智能轮椅的语音控制。在日常的生活环境下，用户也可以选择超声波自主导航和图像自主导航模态来完成到目标点的路径规划和移动（如在卧室，客厅，厨房、阳台等地之间的移动） 。同时，通过将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能够安全地执行用户给定的命令，并以语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强，运行更加安全、稳定可靠。技术特点和优势技术特点和优势1) 简便易用是智能轮椅高效运行的基础，语音控制模态将控制指令简化为五个，并在嵌入式系统的基础上实现了语音的在线训练。新用户只需花上几分钟的时间进行语音训练便可实现对智能轮椅

20、的语音控制。2) 超声波自主导航模态能够完成到指定目标的路径规划，实现了轮椅的安全避障。视觉自主导航模态实现了在室内不同灯光环境下对不同走向和形状的标识线的跟踪。3) 将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能够安全地执行用户给定的命令，并通过语音播报的形式将信息反馈给用户。使得智能轮椅人机交互性更强，运行更加安全可靠。4) 基于嵌入式系统的智能轮椅控制器较好的解决了基于通用计算机(笔记本电脑或嵌入式工控机)控制器所存在的成本高、功耗大以及续航能力差等问题，这就向智能轮椅的产业化方向迈进了一大步。适应范围适应范围在手动控制模态和语音控制模态下，智能轮椅适用于在室内和室

21、外的平整场地下使用；超声波自主避障模态适用于在室内使用；视觉自主导航模态在标记线完好的情况下可以在室内和室外的平整场地下使用。推广前景的技术性说明推广前景的技术性说明随着嵌入式技术的飞速发展，以嵌入式系统为控制系统的智能产品在我们的日常生活中得到了广泛的应用。由于基于嵌入式系统的智能轮椅控制器较好的解决了基于通用计算机(笔记本电脑或嵌入式工控机)控制器所存在的成本高、功耗大以及续航能力差等问题。因此，我们完全可以相信，在不远的将来，基于嵌入式系统的智能轮椅将可以进入普通家庭，智能轮椅将不再是少数人才能用得起的奢侈品。市场分析和经济效益预测市场分析和经济效益预测根据联合国预测 ，1990-202

22、0 年世界老龄人口平均年1增速度为 2.5%，同期我国老龄人口的递增速度为 3.3%，老龄化速度快于世界老龄化速度。与其他国家相比，中国社会人口老龄化程度高，已逐步进入老龄化社会。许多大城市，如上海、北京，老年人的比例已接近 20%。与此同时还有肢体残疾人的人口近 6000 万。在他们当中，有相当多的人因行走不便不得不依靠轮椅才能够正常生活。但对于许多老年人来说，使用普通轮椅不是十分方便，生活质量受到明显的影响。在欧美经济发达国家，老年人、残疾人专用的手动轮椅和普通电动轮椅已出现被逐步淘汰的趋势，取而代之的是性能优越、操作简便、行驶更安全可靠的智能型电动轮椅。随着我国经济的迅猛发展和人民生活水

23、平的不断提高，预计在不久的将来，我国对高档电动轮椅也将有十分旺盛的需求。发达国家老龄产业已成功地走向市场，老年人的公共支出是年轻人的三倍，己成为占第三产业比重很大的产业。相比而言，我国的老年人产业尚处于启动阶段，发展的空间和潜力很大；再加上今年来我国的经济快速增长，使老年人和残疾人的购买力明显增强，老年市场的巨大购买力将会充分显示出来。在目前中国智能轮椅市场中，中科院自动化所和香港力劲集团合作研发的智能轮椅，亦采用了多模态的融合技术，由于目前的智能轮椅基本上采用与移动机器人相同的技术方案，因而成本很高，只有一些特殊人群才能够使用而难以进入普通家庭。随着嵌入式技术的飞速发展，基于嵌入式系统的智能

24、轮椅控制器将能很好的解决了基于通用计算机(笔记本电脑或嵌入式工控机)控制器所存在的成本高、功耗大以及续航能力差等问题。而本作品采用的即嵌入式控制系统，除了轮椅本身的机构和动力系统，控制系统的成本、功耗等都是相对很低的，一台智能轮椅的价格，不会比普通电动轮椅高出多少。我们的智能轮椅是运用了用佛山市东方医疗设备厂有限公司的FS110A 型电动轮椅，市场售价在 7000 到 10000 元不等，即使将嵌入式芯片、传感器、控制器等硬件的价格计算在内，一台智能轮椅的成本价格亦可控制在 10000 元左右。这对于使用 PC 机等作为上位机的智能轮椅而言，价格是十分合理的，易于被普通家庭所接受。而功能上大致

25、相同的智能轮椅，在国外各科研机构的市场推广下，售价均在几万到几十万不等。同样，若是采用与电动轮椅生产厂商合作的方案，亦能使我国本土的电动轮椅在市场上更有竞争力。专利申报情况提出专利申报 申报号 申报日期 年 月 日已获专利权批准 批准号 批准日期 年 月 日 未提出专利申请科研管理部门签 章 年 月 日C.当前国内外同类课题研究水平概述 说明：1.申报者可根据作品类别和情况填写； 2.填写此栏有助于评审。国外电动轮椅市场现状国外电动轮椅市场现状随着人们生活水平的提高，在欧美和日本等发达国家，电动轮椅己经逐渐代替普通轮椅，并己经进入稳定发展期。台湾工研院经资中心 2003 年的调查资料显示，20

26、01 年，日本电动轮椅市场已达到 45 万台，约占其人口总数的 0.3%;而欧美国家的情况也与日本基本相同。初步估计，目前全球范围内的电动轮椅市场约为 100 万台左右。因为电动轮椅的售价较高(一般在 4，000 一 6，000 美元之间)，因此，欧美政府通常将对用户给予较大额度的补贴。近年来，为了降低成本，欧美厂商大多委托日本、韩国以及台湾进行代工生产。台湾的电动轮椅和电动代步车 OEM 产品发展很快，目前己经占有欧美市场的 30%左右。目前在欧美、日本等发达国家中一些公司已经研制开发出智能程度更高、自主能力更强的轮椅机器人产品。例如，美国 AetiveMedia 公司的 Robotsceh

27、ariot和 AppliedAlSystems 公司的 TAO 一 7，日本 AISIN 精机和富士通公司共同研制开发的 TAOAicle 等。但这些智能轮椅产品基本上采用类似于移动机器人的控制系统，采用通用计算机(笔记本电脑或嵌入式工控机)作为上位机，驱动控制系统、传感器系统作为下位机，产品体积大、结构复杂、整体成本很高。此外，由于采用智能轮椅采用通用计算机作为上位机，系统自身功耗较高，为了保证系统能够有足够长的工作时间而不得不配置大容量电池，进一步增加了轮椅自身的重量和成本，也使得其产品难以被普通用户接受。因此，此类产品目前价格很高，尚未真正进入市场。国内电动轮椅市场现状国内电动轮椅市场现

28、状目前国内的电动轮椅市场还处于早期开发阶段，产品的价格较高。目前国内市场上的电动轮椅的价格大体可分为三个档次:1) 高档电动轮椅高档电动轮椅的价位在 19，000 元以上。高档电动轮椅以美国 Pride、台湾必翔、德国奥托博克等厂家的产品为代表，产品为整机进口或主要零部件进口组装，组装地点基本选择在上海地区。2) 中档电动轮椅中档电动轮椅的价位在 12，000 元左右，中档电动轮椅以台湾德林机电的产品为代表，其他厂家也有此价格范围内的产品。3) 低档电动轮椅低档电动轮椅的价位在 8，000 元左右，主要是国内企业的产品，根据其产品的结构而在价格上有一定的差异。国产电动轮椅产品除了控制器采用进口

29、产品外，其它零部件基本上都采用了国内配套产品。由于进口轮椅控制器的价格很高，几乎占电动轮椅总成本的近一半左右，因此国产电动轮椅的价格也居高不下，难以为一般消费者接受，也限制了我国电动轮椅市场的发展。 D.推荐者情况及对作品的说明说明：1由推荐者本人填写； 2推荐者必须具有高级专业技术职称，并是与申报作品 相同或相关领域的专家学者或专业技术人员（教研组 集体推荐亦可） ； 3推荐者填写此部分，即视为同意推荐； 4推荐者所在单位签章仅被视为对推荐者身份的确认。姓 名黄菊花性别女年龄46职称教授工作单位南昌大学通讯地址南昌大学前湖校区邮政编码推荐者情况单位电话住宅电话推荐者所在单位签章 （签章） 年

30、 月 日请对申报者申报情况的真实性作出阐述申请者所设计并研制的“嵌入式多模态人机交互智能轮椅”经过实际运行，达到了预期的设计目标，所提交的材料内容真实、可靠。请对作品的意义、技术水平、适用范围及推广前景作出您的评价该作品不仅适用于各类用户和使用场所，而且与其他智能轮椅相比，成本降低很多，与普通电动轮椅相比，成本增加不多，因此具有良好的应用前景和推广价值。其它说明D.推荐者情况及对作品的说明说明：1由推荐者本人填写； 2推荐者必须具有高级专业技术职称，并是与申报作品 相同或相关领域的专家学者或专业技术人员（教研组 集体推荐亦可） ； 3推荐者填写此部分，即视为同意推荐； 4推荐者所在单位签章仅被

31、视为对推荐者身份的确认。姓 名刘莹性别女年龄52职称教授、博导工作单位南昌大学机电工程学院通讯地址南昌市红谷滩新区学府大道 999 号邮政编码推荐者情况单位电话住宅电话推荐者所在单位签章 （签章） 年 月 日请对申报者申报情况的真实性作出阐述所提交的材料真实、可靠。请对作品的意义、技术水平、适用范围及推广前景作出您的评价基于嵌入式系统的智能轮椅较好的解决了基于通用计算机系统存在的成本高、功耗大以及续航能力差等问题，有良好的应用前景和推广价值。其它说明各高校评审委员会初评意见 评委签名： 年 月 日学校组织协调机构确认并盖章 （团委代章） 年 月 日 学校主管领导意见、学校行政确认盖章主管领导签

32、章： 学校行政签章年 月 日E全省组织委员会办公室资格和形式审查意见组委会办公室资格审查意见 审查人（签名） 年 月 日组委会办公室形式审查意见 审查人（签名） 年 月 日组委会办公室审查结果合格 不合格 负责人（签名） 年 月 日F参赛作品打印处嵌入式多模态人机交互智能轮椅嵌入式多模态人机交互智能轮椅设计者：夏嘉廷 范冰飞 吴松林 程鸣指导老师：刘继忠 吴斌 徐建宁(南昌大学机电工程学院 南昌 )摘要摘要随着世界老年人和残疾人人口的日益增加，智能轮椅作为比普通电动轮椅运行更安全、更稳定、使用更方便、性能更优越的代步工具，可以帮助残疾人和老年人提高自身的生活自理能力和工作能力，使他们更好地融入

33、社会，体现出社会和谐。为了使智能轮椅能够适用于各类用户和使用场所，本文根据实际情况，在基于嵌入式系统（SPCE061A 单片机）的基础上，设计并研制了具有手动控制、语音控制、超声波自主导航和视觉自主导航四种功能的多模态人机交互智能轮椅。用户不仅可以选择常规的手动控制模态，通过操作杆控制轮椅运动，还可以在语音控制模态下口头输入命令控制轮椅运动。超声波自主导航模态能够完成到指定目标的路径规划和移动。视觉自主导航模态实现了在室内不同灯光环境下对不同走向和形状的标识线的跟踪。同时，将超声波避障和语音播报技术融合到四种模态当中，轮椅能够自动判断是否能够安全地执行用户给定的命令，并通过语音播报的形式将信息

34、反馈给用户。使得智能轮椅人机交互性更强，运行更加安全、稳定可靠。关键词关键词：智能轮椅 人机交互 语音识别 超声波避障 视觉导航 SPCE061A目目 录录第一章第一章 绪论绪论11.1 作品研究的现实意义 11.2 国内外智能轮椅研究现状与发展趋势 11.3 智能轮椅的市场分析和经济效益预测 3第二章第二章 多模态融合与人机交互设计多模态融合与人机交互设计42.1 智能轮椅实物图 42.2 智能轮椅的特点 42.3 智能轮椅的结构 52.4 模态选择与切换设计 62.5 人机交互设计 8第三章第三章 语音控制模态设计语音控制模态设计93.1 语音控制系统硬件设计 93.1.1 SPCE061

35、A 开发板93.2 语音控制系统软件设计 103.2.1 语音录放113.2.2 语音训练113.2.3 语音识别13第四章第四章 超声波自主避障模态设计超声波自主避障模态设计154.1 超声波测距系统的分析与硬件设计 154.1.1 避障测距系统的总体设计方案154.1.2 测距系统的发射电路的设计154.1.3 超声波接收电路164.1.4 多通道超声波测距系统的设计174.1.5 电路板的制作174.2 避障算法的设计 194.2.1 避障策略194.2.2 避障流程图及说明21第五章第五章 视觉导航模态设计视觉导航模态设计245.1 引言 245.2 设计思想 245.3 视觉导航系统

36、的机械模块 245.3.1 智能轮椅的机构模型245.3.2 视觉传感器的安装245.3.3 视觉导航环境255.4 视觉导航系统的硬件设计 265.4.1 视觉传感器的选择265.4.2 图像采集的工作原理265.4.3 图像采集方法的选择285.4.4 OV6620 数字摄像头295.4.5 控制对象305.5 视觉导航系统的软件设计 315.5.1 系统总体设计315.5.2 黑线提取算法32参考文献参考文献33附录附录 1 智能轮椅硬件电路图智能轮椅硬件电路图34附录附录 2 SPCE061AI/O 资源分配表资源分配表35附录附录 3 实验数据实验数据36第一章第一章 绪论绪论1.1

37、 作品研究的现实意义作品研究的现实意义根据联合国预测 ，1990-2020 年世界老龄人口平均年增速度为2.5%，同期我国老龄人口的递增速度为 3.3%，老龄化速度快于世界老龄化速度。与其他国家相比，中国社会人口老龄化程度高，已逐步进入老龄化社会。许多大城市，如上海、北京，老年人的比例已接近 20%。与此同时还有肢体残疾人的人口近 6000 万。在他们当中，有相当多的人因行走不便不得不依靠轮椅才能够正常生活。但对于许多老年人来说，使用普通轮椅不是十分方便，生活质量受到明显的影响。在欧美经济发达国家，老年人、残疾人专用的手动轮椅和普通电动轮椅已出现被逐步淘汰的趋势，取而代之的是性能优越、操作简便

38、、行驶更安全可靠的智能型电动轮椅。随着我国经济的迅猛发展和人民生活水平的不断提高，预计在不久的将来，我国对高档电动轮椅也将有十分旺盛的需求。因此，为解决人口老龄化等带来的重大社会服务问题，为 2015 年实现我国“人人享有康复服务”的国家战略目标和社会协调发展提供技术支撑，研究并开发实用的智能轮椅具有非常重要的现实意义。1.2 国内外智能轮椅研究现状与发展趋势国内外智能轮椅研究现状与发展趋势智能轮椅将智能机器人技术应用于电动轮椅，也称智能轮椅式移动机器人。智能轮椅融合了多个方向的研究，包括机器视觉、智能控制、机器人导航和定位、多传感器融合及人机交互等，涉及控制、计算机、电子、电气、机械等多学科

39、领域。初期的研究，赋予轮椅的功能一般都是低级控制，如简单的运动、速度控制及避障等。随着机器人控制技术的发展，移动机器人技术大量用于轮椅，智能轮椅有了更好的交互性、适应性、自主性。自 1986 年英国开始研制第一辆智能轮椅以来，许多国家投入较多资金研究智能轮椅。如美国麻省理工大学 WHEELESLEY 项目、法国 VAHM 项目、德国乌尔姆大学 MAID 项目、西班牙 SIAMO 项目、加拿大 AAI 公司 TAO 项目、欧盟 TIDE 项目、KISS 学院TINMAN 项目、台湾中正大学电机系 LUOSON 项目等。我国智能轮椅研究起步较晚，在机构的复杂性和灵活性上和国外相比有一定差距， 但也

40、根据自身特色研制出技术指标接近国外先进水平的智能轮椅。研究单位有中科院自动化所、上海交通大学和第三军医大学等。中国科学院自动化研究所研制了一种具有视觉和口令导航功能并能与人进行语音交互的机器人轮椅。此项研究成果于 2000 年 11 月通过“863”智能机器人主题专家组的鉴定，并研制出我国第一台多模态交互式智能轮椅样机。此项研究高度重视了智能轮椅人机控制界面的设计，在轮椅的设计中综合运用模式识别实验室有关图像处理、计算机视觉和语音识别等最新成果，使人能通过语音控制轮椅自由行走，轮椅可以实现简单的人机对话功能。上海交通大学开发成功一种声控轮椅，主要是为四肢全部丧失功能的残疾者设计，使用者只需发出

41、“开”、“前”、“后”、“左”、“右”、“快”、“慢”、“停”等指令，轮椅可在 1.2 秒内按指令执行。应用移动机器人技术于智能轮椅取得了一定的成效，基本上满足了行动不便人士要求，但也要看到智能轮椅目前主要还停留在实验室，并没有真正产业化，所以仍有很大研究空间。未来的研究将会向以下几个方向发展：1）智能化智能轮椅要走向实际应用，必须综合应用智能算法，优化算法，增强自助导航能力，如实现语音控制、视觉感知。此外，还应结合计算机通信、网络等技术以适应远程控制的需要。2）人性化系统设计者应充分考虑行动不便人士的需求，从细微处出发，设计安全、舒适、合理的智能轮椅。另外可根据实际需要装配人体监测系统，智能

42、轮椅使用者可以实时对自身身体状况进行监控。3）模块化智能轮椅要真正被广大用户接受、实现批量生产，必须降低价格。解决方法是采用开放式模块化系统结构，整个系统应由基本模块和各个功能模块构成，每个功能模块负责一种功能，用户可以根据需求选择，配置最合适自身的轮椅。同时模块化也能降低成本，提高性价比。随着人工智能、电子技术、控制理论、计算机技术和传感器技术的发展，智能轮椅的功能将更为完善、丰富，也将真正进入老年人和残疾人的生活。1.3 智能轮椅的市场分析和经济效益预测智能轮椅的市场分析和经济效益预测发达国家老龄产业已成功地走向市场，老年人的公共支出是年轻人的三倍，己成为占第三产业比重很大的产业。相比而言

43、，我国的老年人产业尚处于启动阶段，发展的空间和潜力很大；再加上今年来我国的经济快速增长，使老年人和残疾人的购买力明显增强，老年市场的巨大购买力将会充分显示出来。在目前中国智能轮椅市场中，中科院自动化所和香港力劲集团合作研发的智能轮椅，亦采用了多模态的融合技术，由于目前的智能轮椅基本上采用与移动机器人相同的技术方案，因而成本很高，只有一些特殊人群才能够使用而难以进入普通家庭。随着嵌入式技术的飞速发展，基于嵌入式系统的智能轮椅控制器将能很好的解决了基于通用计算机(笔记本电脑或嵌入式工控机)控制器所存在的成本高、功耗大以及续航能力差等问题。而本作品采用的即嵌入式控制系统，除了轮椅本身的机构和动力系统

44、，控制系统的成本、功耗等都是相对很低的，一台智能轮椅的价格，不会比普通电动轮椅高出多少。我们的智能轮椅是运用了用佛山市东方医疗设备厂有限公司的 FS110A 型电动轮椅，市场售价在 7000 到 10000 元不等，即使将嵌入式芯片、传感器、控制器等硬件的价格计算在内，一台智能轮椅的成本价格亦可控制在 10000元左右。这对于使用 PC 机等作为上位机的智能轮椅而言，价格是十分合理的，易于被普通家庭所接受。而功能上大致相同的智能轮椅，在国外各科研机构的市场推广下，售价均在几万到几十万不等。同样，若是采用与电动轮椅生产厂商合作的方案，亦能使我国本土的电动轮椅在市场上更有竞争力！第二章第二章 多模

45、态融合与人机交互设计多模态融合与人机交互设计2.1 智能轮椅实物图智能轮椅实物图图 2.1 智能轮椅的实物图2.2 智能轮椅的特点智能轮椅的特点1）语音控制模态对于轮椅的控制，语音控制无非是最自然、最便捷的控制方式。语音控制模态采用凌阳 16 位单片机 SPCE061A 作为系统核心，先通过 MIC 训练语音命令，提取出特征参数并导入到 FLASH 中构成语音模型库。识别过程中，利用库函数将待测语音信号与语音模型库中的模型进行相似度比较，识别成功则进行智能轮椅相关运动控制。2）超声波自主导航模态超声波自主导航模态采用超声波传感器实现轮椅避障控制，由于轮椅要实现安全避障首先必须对外部环境进行充分

46、认识，所以该模态采用分布在不同的方向上的多路超声波传感器对环境进行感知。超声波由发射端发出，遇到障碍物返回，接收器将超声波信号变成电信号，电信号经过放大、带通滤波和整形送入 SPCE061A。通过测量从发射超声波到接收超声波的间隔时间计算出轮椅距离障碍物的距离，再通过采用适当的控制策略来实现轮椅的实时避障。3）视觉自主导航模态视觉自主导航系统由检测系统，控制决策系统和动力系统三个部分组成。其中检测系统采用 CMOS 图像传感器；控制决策系统采用 SPCE061A 作为主控制芯片；动力系统主要是控制模拟操作杆产生的四路模拟电压信号来控制直流电机的转速。整体的流程为，检测系统采集路径信息，经过控制

47、决策系统分析和判断，由动力系统控制直流电机给出合适的转速，从而控制智能轮椅准确、稳定地行驶。4）多模态人机交互智能轮椅在使用过程中，通过将不同的模态融合起来，能够达到更好的实际效果。通过将超声波自主避障模态融合到其它三种模态当中，轮椅在执行手动控制、语音控制和视觉自主导航这三种模态指令之前能够自动判断轮椅是否能够安全的执行这些指令，并通过语音播报的形式将信息反馈给用户，从而使得智能轮椅的行驶更加安全可靠。同样，将语音播放技术融合到其它三种模态中，轮椅根据自身的状态能够实时的对用户进行语音提示，从而起到更好的人机交互效果。（其中本作品的演示录像、源程序以及其它相关的材料均已刻录在所附的光盘中）2

48、.3 智能轮椅的结构智能轮椅的结构智能轮椅由传感器、控制器、执行器和人机交互设备四大部分组成，总体结构如图 2.2 所示。图 2.2 智能轮椅结构图传感器主要包括 MIC、超声波传感器和图像传感器。MIC 将语音信号转化为电信号，通过 SPCE061A 的 AD 通道进行采集；超声波传感器用来测量轮椅和障碍物之间的距离，实现轮椅自主避障和导航；图像传感器用来对路面信息进行采集，通过 AD 转换得到数字信号图像，并由 SPCE061A 单片机完成采集和处理。控制器采用凌阳公司16 位单片机 SPCE061A，该单片机的资源不仅能够满足本作品的设计要求，而且 SPCE061A 单片机非常适合语音处

49、理应用领域。控制器实物图见图 2.3。执行器为两个 24V 永磁直流电机，通过差速控制轮椅转向。人机交互设备包括扬声器、LCD 和 LED。扬声器用于播放语音提示，实现轮椅和用户之间的语音交互，LCD 用于显示当前轮椅自身状态信息，LED 则用于指示轮椅当前各种状态。2.4 模态选择与切换设计模态选择与切换设计用户使用该智能轮椅时，根据自身情况和实际场合选择或切换到相应的模态，图 2.4 所示的电路可以实现上述功能。电路中的四个按键分别代表手动控制、语音控制、超声波自主导航和视觉自主导航四种模态。各个按键对应的模态见表2.1 所示。图 2.4 模态选择与切换电路图图 2.3 多模态人机交互智能

50、轮椅控制器表 2.1 模态选择表模态名称IOB8IOB7手动模态（manual）00语音控制模态（speech）01超声波自主导航模态（ultrasonic）10视觉自主导航模态（image）11按下 4 个键中的任意 1 个，均会通过 IOB3 触发 SPCE061A 进入外部中断。通过在中断服务程序中进行模态标志位设置，可以方便的进行模态选择和切换。并且在三种自动模态程序中，均加入一个模态切换判断函数，用于判断按键选择的模态与当前模态是否一致，如果发生了模态切换，则跳出当前模态的控制子程序，并重新根据模态标志位进行模态选择，总体的控制流程图如图 2.5 所示，总体的电路图见附录 1，I/O

51、 资源分配表见附录 2。图 2.5 智能轮椅总体控制流程图手动控制模态下使用操作杆产生模拟电压信号，而其他三种自动控制模态下需要通过 DA 转换产生该信号，图2.6 所示电路就用来切换轮椅控制器的模拟电压信号源。当轮椅运行在手动控制模态下时，设置图 2.6 直流电机控制平台切换电路IOB0 为低电平，三极管截至，继电器处于常闭位置，模拟电压信号由操作杆提供；当轮椅运行在其它三种控制模态下时，设置 IOB0为高电平，三极管导通，继电器动作，模拟电压信号由 DA 转换芯片提供。2.5 人机交互设计人机交互设计本作品中主要采用两种人机交互方式，一种是单片机的人机交互，即通过键盘、LED、数码管、LC

52、D、蜂鸣器等。如图2.7 所示为 LED 显示电路，通过 LED 灯轮椅可以将当前自身的状态指示给用户。另一种是语音交互。语音一致被公认为是最自然流畅、方便快捷的信息交流方式。本作品实现了基于 SPCE061A 的特定人小词量语音识别，用户通过 MIC 向轮椅输入语音命令，轮椅也可以实时地将自身状态或外部环境信息以语音播放的形式通过扬声器反馈给用户。图 2.7 LED 显示电路第三章第三章 语音控制模态设计语音控制模态设计3.1 语音控制系统硬件设计语音控制系统硬件设计语音控制系统的硬件主要都已集成在 SPCE061A 开发板上。MIC 将语音信号转化为电信号，AD 转换由 SPCE061A

53、片内 AD 完成。语音播放由扬声器和 SPCE061A 片内 DA 实现。3.1.1 SPCE061A 开发板开发板SPCE061A 开发板不仅仅是 SPCE061A 的最小系统板，板上还集成了语音处理的硬件电路，非常适用于数字语音应用领域。1）专用 10 位 AD 通道和集成有 AGC 电路的 MIC 接口。SPCE061A 片内有两级 OP 运放：OPAMP1 和 OPAMP2。MIC 输出电信号经过片内第一级运放 OPAMP1放大，放大倍数受 AGC（自动增益放大电路）控制，经过带通滤波，然后再经过第二级运放 OPAMP2 进行放大，而二级放大的信号会与系统内的定义值进行比较，而根据比较

54、的结果来调整 OPAMP1 的放大 10 倍数，这就是 SPCE061A 片内 AGC的原理。SPCE061A 在 MIC 输入通道的 CMP、AGC 电路中需要很多外接的阻容元件，电路图如图 3.1 所示。2）专用 10 位 DA 通道和扬声器接口SPCE061A 提供了双通道 DAC 音频输出方式。在此方式下，DAC1、DAC2转换输出的模拟量电流信号分别通过 AUD1 和 AUD2输出，DAC 的输出端接一个负载电阻，将 DAC 输出的电流信号转换为电压信号。图 3.1 MIC 接口电路图图 3.2 扬声器接口电路图硬件电路很简单，如图 3.2 所示。3）音频元器件布局与布线选用优质的

55、MIC 和合理的外围元器件参数是音质的基本保障。除此之外，良好的 PCB 板布线、布局也是良好音质的保证，特别是在语音的 DVR 录制、即录即放时，人耳可以听出差别。SPCE061A 开发板在 PCB 板布线、布局时，注意了 MIC 电路与音频输出电路的分离。3.2 语音控制系统软件设计语音控制系统软件设计语音控制由语音训练和语音识别两部分组成，其总体流程图如图 3.3 所示。语音训练为语音识别提供语音模型库，如果语音识别成功，则轮椅执行语音命令相对应的运动控制。语音训练前先判断轮椅是否已经经过训练。如果已经经过训练，则可直接调用 FLASH 中存储的语音模型库；如果未经过训练，则执行语音训练

56、子函数。在语音识别子函数中，加入重新训练判断语句，如果用户觉得训练结果不理想，或需要更换其他用户，则可跳出语音识别子函数，重新进行语音训练。语音训练和识别过程中需要播放提示语音，以反馈用户轮椅当前训练进度和识别结果等信息。如图 3.4 所示，提示语音播放图 3.3 语音控制流程图图 3.4 语音控制各流程关系图采用后台方式，在中断服务程序中进行。3.2.1 语音录放语音录放语音录放主要包括语音录制、语音压缩和语音播放三个流程，以语音命令“请开始训练”为例，其流程如图 3.5 所示。图 3.5 语音录放流程图1）语音录制常用的音频文件的格式包括*.wav、*.audio、*.mp3、*.rm 等

57、。智能轮椅语音通过麦克风和Windows 环境下的录音机软件进行录制，如图 3.6 所示。需注意的是，声音属性应按图 3.7 设置，录制好的声音文件为*.wav 格式。2）语音压缩录制好的 wav 文件，占用很大的存储空间，对于 SPCE061A 单片机来说，其 FLASH 空间资源有限，想要存储大量的语音文件显然是不可能的，这时我们需要采用语音压缩技术。3）语音播放语音压缩得到的*.48K 文件首先需要添加到 SPCE061A 开发环境的 ResourceView 中，然后下载到 FLASH 中，最后以资源表的形式在程序中读取并调用语音播放库函数实现 SPCE061A 开发板的语音播放。3.

58、2.2 语音训练由于受到 SPCE061A 内 SRAM 存储量的限制，SPCE061A 一次图 3.6 Windows 录音机图 3.7 录音机属性设置只能存储 5 条命令的语音模型，当语音命令多于 5 条时，需要分组进行语音训练和识别。本作品设计了单组命令语音控制系统和多组命令语音控制系统。单组语音命令的包括“轮椅”(停)、“前进”、“后退”、“左转”和“右转”5 条命令，多组命令包括“轮椅”、“准备”、“前进”、“后退”、“停”、“左转”、“右转”、“增速”、“降速”和“音乐”10 条命令，每 5 条命令一组。其中多组语音训练与识别是在单组基础上完成的。本作品中的 10 条命令分成 2

59、组，每组 5 条指令。设置第一组命令中的“准备”命令用于从 FLASH 语音模型库中导入第二组命令的语音模型至 SRAM，同样，设置第二组命令中的“音乐”命令用于导入第一组命令的语音模型至 SRAM。图 3.8 所示为多组命令语音训练流程图。为方便用户，如果已经训练过轮椅，可直接将 FLASH 中存储的语音模型导入SRAM 中，不需要用户重新训练，故程序一开始首先判断轮椅是否已经经过用户训练。由于识别过程是将待测语音信号与训练得到的语音模型进行相似度比较，因此识别前需要先通过训练建立该用户的语音模型库。如果轮椅还没有经过训练，FLASH 中没有存储用户语音模型数据。训练前需要先擦除语音模型将占用的相应FLASH。语音训练通过 int BSR_Train(int CommandID，int Train Mode)函数实现。CommandID 为命令号，范围从 0 x100 0 x104，Train Mode为训练次数，当该函数返回值为 0 时，表示训练成功。一般要求训练两次，并保证两次训练输入语音相近，只有两次命令语音模型相似度符合要求才算训练成功。训练过程中，每条语音命令的长度不图 3.8 语音训练流程图要超过 1.3 秒。在实际的使用过程当中，虽然一辆轮椅一般服务于一个固定用户，但用户可能会对训练的结果不满意，或者其他人也想使用轮椅。这样就要求轮椅具有能够被重新训练的功能。为此