基于加速度传感器的智能终端手势识别关键技术研究优秀毕业论文 参考文献 可复制黏贴.pdf

分类号 tp393 学号 09061109 密级 公 开 工学硕士学位论文 基于加速度传感器的智能终端手势识别基于加速度传感器的智能终端手势识别 关键技术研究关键技术研究 硕士生姓名 陈文 学 科 专 业 计算机科学与技术 研 究 方 向 计算机网络与通信 指 导 教 师 周兴铭 教 授 国防科学技术大学研究生院 二 一一年十一月 国防科学技术大学研究生院 二 一一年十一月 论文书脊 论文书脊 此页只是书脊样式 学位论文不需要印刷本页 基于加速度传感器的智能终端手势识别关键技术研究 国防科学技术大学研究生院 gesture recognition based on the accelerometer of the intelligent terminals candidate chen wen advisor prof zhou xingming a thesis submitted in partial fulfillment of the requirements for the degree of master of engineering in computer science and technology graduate school of national university of defense technology changsha hunan p r china november 2011 国防科学技术大学研究生院工学硕士学位论文 第 i 页 目目 录录 摘 要 i abstract ii 第一章 绪论 1 1 1 课题背景与研究意义 1 1 2 本文主要研究内容及创新点 2 1 3 论文组织结构 3 第二章 相关研究工作 5 2 1 手势识别概述 5 2 1 1 手势简介 5 2 1 2 手势识别简介 5 2 1 3 手势识别的分类 6 2 1 4 手势识别的常用方法及其对比分析 7 2 1 5 手势识别的应用 11 2 2 智能终端 11 2 3 国内外研究现状 15 2 4 小结 17 第三章 手势识别算法e dtw 18 3 1 基本思想 18 3 1 1 动态规划 18 3 1 2 dtw算法原理 19 3 2 手势算法e dtw中的优化设计 23 3 2 1 限制曲线路径 23 3 2 2 构造边界链表 24 3 2 3 设置失真门限值 25 3 3 e dtw算法流程 27 3 4 小结 28 第四章 基于流水线处理的手势识别机制 30 4 1 相关概念 30 4 1 1 手势的定义 30 4 1 2 手势的表示 31 国防科学技术大学研究生院工学硕士学位论文 第 ii 页 4 1 3 手势的识别 32 4 2 基于流水线处理的手势识别机制 32 4 2 1 手势数据采集 33 4 2 2 手势数据平稳去噪 34 4 2 3 fbgd手势检测 35 4 2 4 基于边界限定以及贝叶斯决策的非手势过滤 37 4 2 5 手势数据量化 40 4 2 6 e dtw算法匹配计算 40 4 2 7 模板自适应 41 4 3 小结 42 第五章 性能评测及应用系统 44 5 1 性能评测 44 5 1 1 实验方案 44 5 1 2 e dtw算法性能评测 47 5 1 3 基于流水线处理的手势识别性能评测 48 5 1 4 小结 53 5 2 phonecommandpen应用系统 54 5 2 1 phonecommandpen简介 54 5 2 2 phonecommandpen系统组成 55 5 2 3 phonecommandpen系统实现 57 5 2 4 小结 59 5 3 小结 59 第六章 总结和展望 61 致 谢 63 参考文献 64 作者在学期间取得的学术成果 67 国防科学技术大学研究生院工学硕士学位论文 第 iii 页 表 目 录 表 3 1 e dtw算法伪代码 28 表 4 1 手势的具体操作及可表达的操作意义 31 表 4 2 手势数据的量化 40 表 5 1 moto a953 硬件配置 45 表 5 2 fbgd手势检测机制的非手势过滤率fr 51 表 5 3 fbgd手势检测机制的手势丢弃率fnr 51 表 5 4 非手势过滤机制的非手势过滤率fr 52 表 5 5 非手势过滤机制的手势丢弃率fnr 52 表 5 6 无模板自适应的手势识别精度 53 表 5 7 存在模板自适应的手势识别精度 53 表 5 8 手势与pc端机器语言映射关系 56 国防科学技术大学研究生院工学硕士学位论文 第 iv 页 图 目 录 图 2 1 手势识别 5 图 2 2 手势的产生和感知 6 图 2 3 手势识别方法的识别精度 10 图 2 4 摩托罗拉里程碑 2 所具备的传感器 12 图 2 5 android系统架构图 13 图 3 1 两个时间序列的规整 19 图 3 2 dtw搜索路径 20 图 3 3 dtw算法原理 21 图 3 4 匹配路径约束示意图 22 图 3 5 限制曲线路径 24 图 3 6 根据失真门限值裁剪 26 图 3 7 e dtw算法流程图 27 图 4 1 手势集 31 图 4 2 基于流水线处理的手势识别 33 图 4 3 android智能手机的加速度方向 34 图 4 4 手势 1 的原始数据 35 图 4 5 手势 1 平滑之后的数据 35 图 4 6 fbgd手势检测示意图 37 图 4 7 手势 1 判定开始结束后的数据 37 图 4 8 手势动作和普通运动加速度数据的分布 38 图 4 9 手势数据序列t 1 i 和r 1 j 之间dtw距离的计算过程 41 图 4 10 手势 1 在不同的时间段采集的加速度数据存在明显差异 42 图 5 1 dtw算法耗时比较 48 图 5 2 moto a953 与huawei c8500 从手势结束到识别完成所耗费时间 49 图 5 3 手势动作时间以及手势从动作结束到识别所耗费时间的比较 50 图 5 4 phonecommandpen示意图 55 图 5 5 phonecommandpen系统结构图 56 图 5 6 智能终端端数据流程图 56 图 5 7 智能终端端类图 58 图 5 8 pc端类图 59 国防科学技术大学研究生院工学硕士学位论文 第 i 页 摘 要 在人机交互中 人适应计算机的工作方式逐渐转变为计算机适应人 人与机 器以更加自由 自然的方式交互 人的手势作为人们日常生活中最广泛使用的一 种自然直观的交流方式 在人机交互中得到越来越多的应用 因此 手势识别受 到越来越广泛的关注 pda 智能手机等智能终端逐渐成为人们生活中不可或缺 的一部分 其丰富的感知手段以及 随时随身 的特点 使其自然成为人机交互 中手势识别的另一新的有效手段 本文面向在资源受限的智能终端上如何快速完成手势的识别以及如何提高手 势识别的精度等问题 对基于加速度传感器手势识别的常用方法进行了分析比较 并指出其应用在智能终端上存在的不足 在此基础之上 设计 e dtw 算法 并提 出适合基于加速度传感器的智能终端手势识别的流水线处理机制 e dtw 算法根 据手势数据以及智能终端的特点 采用动态规划以及 dtw 算法思想 通过斜率限 定曲线路径 利用链表预先存储限定区域的上下边界以及设定失真门限值等策略 减轻模板匹配的计算量 降低手势识别的开销 基于流水线处理的手势识别机制 采用 fbgd 手势检测策略自动判定手势的开始和结束 结合基于边界限定以及贝 叶斯决策的非手势过滤机制 在计算繁重的模板匹配计算之前将非手势数据过滤 利用模板自适应策略 自动更新样本模板库 提高手势识别的精度 本文针对识别方案的效率 精度 能耗等问题 在 android 智能手机上进行了 实验验证 实验结果表明 e dtw算法相比于经典dtw算法耗时减少10 至25 表明 e dtw 算法有效减轻了模板匹配的计算量 缩短了计算时间 提高了手势识 别效率 基于流水线处理的手势识别机制 通过手势检测 非手势过滤等策略 有效去除 92 3 的非手势数据 提高了系统的处理效率 利用模板自适应策略 提 高了手势识别的精度 手势识别精度达到 95 以上 基于流水线处理的手势识别 机制在能耗方面都得到了很好的控制 不会对智能终端的正常使用造成明显影响 本 文 基 于 流 水 线 处 理 的 手 势 识 别 机 制 实 现 了 手 势 识 别 应 用 系 统 phonecommandpen 系统运行结果表明基于流水线处理的手势识别机制是可行的 能在不明显增加智能终端能耗的前提下 以较高的识别效率和精度 带来更好的 用户体验度 促进人与机器更加自由 自然地交互 主题词 人机交互 手势识别 智能终端 e dtw 国防科学技术大学研究生院工学硕士学位论文 第 ii 页 abstract in the aspect of human computer interaction computers become smarter and more intelligent they can understand user s interaction by a much more natural and friendly way gesture as one of the nature and intuitive communication ways is widely applied in human computer interaction and gesture recognition technique can be easily deployed in intelligent terminals which are equipped with rich sensors and playing a more and more important role in people s daily life this thesis addresses efficiency and accuracy issues of gesture recognition on resource limited intelligent terminals base on the state of the art methods of gesture recognition we propose an e dtw algorithm and a pipelined mechanism for gesture recognition based on dynamic programming and dtw algorithm the e dtw algorithm limits curve path by slope uses a list to prestore the boundary information of restricted areas and sets the distortion threshold by these efforts mentioned beforehand our e dtw algorithm could reduce the calculation amount of template matching the pipelined mechanism of gesture recognition uses the forward atf ats 100ms atf atb 400ms 4 非手势过滤 受重力加速度的影响 加速度传感器采集的手势数据在z轴 方向 当手机水平放置 的加速度大小包含重力加速度 在手势动作的执行过程 中 手机不可避免的倾斜 重力加速度以分力的形式表现在x y z三个方向 因此 加速度传感器获取的加速度值比手势动作实际的加速度值要大 通过观察 大量手势数据和非手势数据的加速度各个分量以及持续时间的特点 本文选定的 界限范围如下 ax min 1 5g ax max 1 5g ay min 1 5g ay max 1 5g az min 1 5g az max 2 5g tmin 400ms tmax 2800ms 当手势数据数目和非手势数据数目均大 于100时 启用基于贝叶斯决策的非手势过滤 当手势和非手势数目增加100时 重新计算贝叶斯决策的相关参数 5 量化 前文已经提及手势动作的运动频率大概在10hz左右 根据奈奎斯 特定律 在进行模拟数字信号的转换过程中 当采样频率大于信号中最高频率的2 倍时 采样之后的数字信号完整地保留了原始信号中的信息 为了减少手势数据 序列的长度 降低dtw模板匹配的计算量 本文对手势数据序列重采样 重采样 率为33hz 此外 采取非线性的方法对手势数据进行量化 量化等级为33级 如 表4 2所示 6 e dtw模板匹配 采用e dtw算法对待识别手势和样本模板库中的每个 手势模板进行匹配计算 各匹配计算以线程的方式在android操作系统上并行运 行 e dtw算法中的收缩因子3 1 k 裁剪次数3 cut n 7 模板自适应策略 考虑到随着样本模板数目的增加 模板匹配计算时间成 线性增长 以及即使是每个手势只有一个样本模板 e dtw算法也能达到较高的 手势识别率 本文采取如下简单的模板自适应策略 系统每天根据用户执行的手势自动为手势采集一个模板 或者当系统识别错 误时 由用户手动指定对应手势的样本模板 每个手势对应的样本模板数目不超 过两个 5 1 1 4 实验数据采集方案实验数据采集方案 为了评测基于流水线处理的手势识别整体性能以及手势检测模块 非手势过 滤策略 模板自适应策略的有效性 我们分两组进行试验 1 实验数据集1 共6名用户 其中4名男性 2名女性 年龄分布从20至 45岁不等 对智能终端的熟悉情况不尽相同 6名用户中 3名 2男1女 参与 第 46 页 国防科学技术大学研究生院工学硕士学位论文 模板自适应策略的手势识别 剩余三名参与无模板自适应策略的手势识别 要求 每个用户针对图4 1所示的手势集中的每个手势每天操作10次以上 历时两周 共采集8000多个手势数据 在测试过程中 要求用户记录当时的运动状况 静止 散步 开车 乘车 其他 以及用户所处的位置 家里 办公室 室外 并要 求用户将是否识别成功的结果 是否检测到手势动作 是否误检测到手势动作以 及手势识别是否正确 以及手机的电池续航时间 手机电池充满到下一次充电的 时间 反馈给系统 2 试验数据集2 共3名用户 其中2名男性 1名女性 年龄分布在20值 30岁之间 对智能终端和手势识别比较熟悉 要求每个用户对表5 2所示的每个 非手势动作执行100次以上 并手动将每个非手势动作的开始和结束时间反馈给 系统 一共获得1500多组实验数据 5 1 2 e dtw算法性能评测 本文主要从算法的时间复杂性方面对e dtw算法进行评测 通过比较原有 dtw算法 文献 54 所述dtw算法和本文的e dtw算法在相同数据集下匹配计算 的耗时 从而判断算法的优劣 试验手势集如图4 1所示 测试中 e dtw算法 中的收缩因子 k裁剪次数3 13 cu n为了避免智能终端因系统自带程序对试 验结果造成影响 测试期间 手机处于 飞行模式 并且对每个测试重复1000 次 结果取平均值 t 在智能终端上分别进行如下测试 1 手势1与前四个手势组成的手势集以及所有手势集进行匹配计算 比较两 者的处理时间 测试结果如图5 1 a 所示 2 手势5与后四个手势组成的手势集以及所有手势集进行匹配计算 比较两 者的处理时间 测试结果如图5 1 b 所示 第 47 页 国防科学技术大学研究生院工学硕士学位论文 65 167 47 104 42 89 0 20 40 60 80 100 120 140 160 180 模板数 4模板数 8 耗 时 耗 时 m s 原有dtw 文献 54 dtw e dtw a 手势 1 与前四个手势组成的手势集以及所有手势集进行匹配计算 79 232 60 131 53 104 0 50 100 150 200 250 模板数 4模板数 8 耗 时 耗 时 m s 原有dtw 文献 54 dtw e dtw b 手势 5 与后四个手势组成的手势集以及所有手势集进行匹配计算 图 5 1 dtw 算法耗时比较 从实验结果可看出 本文所述的e dtw算法比原有的dtw算法相比 耗时减 少30 至55 与文献 54 所述的dtw算法相比 耗时减少10 至25 此外 从实验结果还可发现 模板数越多或者需要比对的数据越多 e dtw算法节省的 时间越多 实验结果表明e dtw算法 通过斜率限定曲线路径 利用链表预先存 储需要比较节点的上下边界以及设定门限值等策略 有效减轻了模板匹配的计算 量 缩短了计算时间 提高了手势识别的效率 5 1 3 基于流水线处理的手势识别性能评测 本文主要从耗时 手势动作检测模块的有效性 非手势过滤策略的有效性 模块自适用策略的有效性 能耗等方面对基于流水线处理的手势识别机制进行性 第 48 页 国防科学技术大学研究生院工学硕士学位论文 能评测 1 耗时分析 主要考察基于流线处理的手势识别从手势动作结束到手势识别完成所耗费的 时间 从而判断其应用在智能终端上是否可行 如果计算速度快 耗时小 延迟 低 响应快 表明该机制适合应用在智能终端上 否则 需要对处理机制进一步 改进 以适合在资源受限的智能终端上使用 在程序实现上 基于流水线处理的 手势识别机制中的数据平稳去噪 手势动作检测可以随手势数据采集同步进行 基于边界限定的非手势过滤 量化可以在手势开始判定之后随手势数据同步进行 直到手势结束判定停止 而不需要等手势结束后再进行 基于贝叶斯决策的非手 势过滤和e dtw匹配计算可以在手势结束判定后 此时人的手势并没有完全停 止 立即进行 因此 从手势识别结束到手势完成所耗费的时间远远小于流水线 各个模块单独作用时间的总和 为了使测试具有普遍性 本文分别在摩托罗拉里 程碑2以及入门级android手机 华为c8500上针对不同的数据集分别进行测 试 测试过程中手机处于 飞行模式 测试重复1000次 测试从两方面进行 1 测试手势为手势1 样本数据集1由图4 1所示前四个手势组成 每个 手势对应一个样本模板 样本数据集2由图4 1所示的手势组成 每个手势对应一 个样本模板 样本数据集3由图4 1所示的手势组成 每个手势对应两个样本模板 测试结果如图5 2所示 横坐标表示不同数据集 纵坐标表示从手势动作结束到手 势识别完成所耗费的时间 2 测试图4 1所示各个手势在样本数据集2下手势动作时间以及手势从动 作结束到识别所耗费的时间 横坐标表示不同数据集 纵坐标表示从手势开始到 手势识别完成所耗费的时间 其中柱状图下半部表示从手势动作时长 即从手势 开始到手势结束所经历的时间 柱状图上半部表示从手势动作结束到手势识别 完成所耗费的时间 18 26 56 21 35 78 0 10 20 30 40 50 60 70 80 90 手势集合1手势集合2手势集合3 耗 时 耗 时 m s moto a953 huawei c8500 图 5 2 moto a953 与 huawei c8500 从手势结束到识别完成所耗费时间 第 49 页 国防科学技术大学研究生院工学硕士学位论文 1086 1227 1032 827 1920 1882 2000 2140 26 29 25 23 56 54 59 65 0 500 1000 1500 2000 2500 手势1手势2手势3手势4手势5手势6手势7手势8 时 间 时 间 m s 耗时 手势时间 a 摩托罗拉里程碑 2 1086 1227 1032 827 1920 1882 2000 2140 35 39 34 30 78 75 81 89 0 500 1000 1500 2000 2500 手势1手势2手势3手势4手势5手势6手势7手势8 时 间 时 间 m s 耗时 手势时间 b 华为 c8500 图 5 3 手势动作时间以及手势从动作结束到识别所耗费时间的比较 从图5 2可看出 在摩托罗拉里程碑2上 从手势动作开始到结束所耗费的时 间在60ms以下 即使是在入门级的华为c8500上 耗时80ms以下 用户基本察 觉不到识别系统识别过程中的延迟 从图5 3可发现 从手势动作结束到手势识别 所耗费的时间远小于手势动作本身时长 综上可知 基于流水线处理的手势识别 能够以较小的耗时在智能终端上完成手势识别 系统延迟小 反应快 可有效运 行在智能终端上 2 fbgd手势检测的有效性评测 手势检测模块通过门限值限定的方法检测手势 并自动判定手势的开始和结 束 为了评测fbgd手势检测模块的有效性 本文主要通过如下参数来衡量 1 非手势过滤率 fr filter rate 过滤的非手势动作个数占整个非手 势动作的比率 第 50 页 国防科学技术大学研究生院工学硕士学位论文 第 51 页 2 非手势检测错误率 fpr false positive rate 将非手势动作识别为 手势动作的个数占整个非手势动作的比率 分析可知 fr 1 fpr 3 手势丢弃率 fnr false negative rate 将手势丢弃占整个手势动作 的比率 即在fbgd手势检测阶段没有检测到的手势以及在非手势过滤阶段将手 势丢弃占整个手势的比率 为了评测手势检测模块对非手势动作过滤的有效性 我们针对以下四种非手 势动作场合展开了实验 1 散步 用户在散步过程中 智能终端会随着身体晃动 假设智能终端处 于裤兜或用户手中 2 乘车 用户在乘车过程中 智能终端会随着车身晃动 假设智能终端处 于裤兜或用户手中 3 骑自行车 用户在骑自行车中 智能终端会随着车体以及双腿蹬车而晃 动 假设智能终端处于裤兜 4 接听电话 用户从口袋掏出智能终端 并将智能终端放置耳朵旁边 通过对实验数据集2进行分析 可得到如表5 2所示的试验结果 表 5 2 fbgd 手势检测机制的非手势过滤率 fr 场景 用户 1 女 用户 2 用户 3 平均值 散步 0 63 0 53 0 64 0 60 乘车 0 74 0 77 0 66 0 73 骑自行车 0 70 0 58 0 62 0 63 接听电话 0 53 0 52 0 53 0 52 平均值 0 65 0 60 0 61 0 62 通过对实验数据集1进行分析 手势丢弃率如表5 3所示 表 5 3 fbgd 手势检测机制的手势丢弃率 fnr 用户 用户 1 女 用户 2 女 用户 3用户 4用户 5用户 6 平均值 丢弃率 0 02 0 03 0 06 0 04 0 03 0 03 0 035 从实验结果可看出 fbgd手势检测模块能够过滤平均65 的非手势动作 没有检测出手势的比率仅为3 5 表明fbgd的手势检测机制能在一定程度上过 滤非手势动作 有效检测手势运动 并判断手势的开始和结束 此外 从实验结 果还可看出针对不同的非手势场景以及不同的测试用户 非手势过滤率和手势丢 弃率呈现出不同的差别 表明fbgd手势检测机制的有效性与具体应用场景有关 如果根据应用场景以及用户使用习惯的不同 设置不同的模型参数 将进一步提 高对非手势运动过滤的效果 更加准确地对手势进行检测 3 非手势过滤的有效性分析 国防科学技术大学研究生院工学硕士学位论文 第 52 页 非手势过滤机制基于边界限定以及贝叶斯决策的方法 进一步过滤非手势动 作 流水线中的非手势运动数据经过fbgd手势检测模块后 没有过滤掉的非手 势数据将进入非手势过滤模块 通过对实验数据集2进行分析 其实验结果如表 5 4所示 表 5 4 非手势过滤机制的非手势过滤率 fr 场景 用户 1 女 用户 2 用户 3 平均值 散步 0 83 0 84 0 85 0 84 乘车 0 90 0 84 0 84 0 86 骑自行车 0 89 0 86 0 87 0 87 接听电话 0 55 0 55 0 59 0 56 平均值 0 79 0 77 0 79 0 78 通过对实验数据集1进行分析 其手势丢弃率如表5 5所示 表 5 5 非手势过滤机制的手势丢弃率 fnr 用户 用户 1 女 用户 2 女 用户 3用户 4用户 5用户 6 平均值 丢弃率 0 01 0 0 02 0 02 0 03 0 02 0 02 从实验结果可看出 非手势过滤机制能够在fbgd手势检测模块初步过滤的 基础上进一步过滤掉平均78 的非手势动作 手势丢弃率仅为2 实验结果表明 非手势过滤机制能够以较高的准确度进一步过滤手势检测模块没有去除的非手势 动作 进一步提高手势识别的效率 此外 从实验结果还可以看出 非手势过滤 机制的非手势过滤率与非手势动作类型有关 针对与手势动作比较差别比较大的 非手势动作 如散步 乘车 骑自行车等 非手势数据过滤效果很好 而针对 与手势比较接近的动作 如接听电话 非手势过滤机制效果一般 如果根据用户 所处情景设置不同的边界限定参数 将进一步提高非手势过滤率 提高手势识别 效率 从前述评测中可知 手势检测模块能够过滤65 的非手势运动 非手势过滤 模块能够在其基础机上进一步过滤78 的非手势运动 两者综合起来 非手势过 滤率为 65 1 65 x78 92 3 手势丢弃率为 3 5 2 5 5 表明基 于流水线处理的手势识别机制能够在保持较低的手势丢弃率的情况下 有效过滤 非手势运动 从而在运算量繁重的手势识别模板匹配之前将绝大多数非手势动作 过滤 提高了手势系统的识别效率 增强了系统的鲁棒性 4 模板自适应策略的有效性评测 模板自适应策略针对用户手势动作会随其生活习惯 时间推进而改变 通过 一定策略更新样本模板库 从而减轻用户手势动作与样本模板库中对应手势的差 异性 在实验数据集1中 我们分别对比了无模板自适应策略和存在模板自适应 策略的手势识别精度 实验结果如表5 6 表5 7所示 国防科学技术大学研究生院工学硕士学位论文 第 53 页 表 5 6 无模板自适应的手势识别精度 手势 手势 1 手势 2 手势 3 手势 4 手势 5 手势 6 手势 7 手势 8 手势 1 0 945 0 004 0 015 0 018 0 011 0 002 0 002 0 002 手势 2 0 002 0 958 0 015 0 013 0 002 0 006 0 002 0 002 手势 3 0 014 0 012 0 959 0 006 0 006 0 002 0 000 0 002 手势 4 0 009 0 011 0 006 0 957 0 002 0 013 0 002 0 000 手势 5 0 014 0 004 0 002 0 004 0 908 0 007 0 047 0 014 手势 6 0 002 0 019 0 002 0 008 0 000 0 911 0 011 0 047 手势 7 0 000 0 000 0 013 0 002 0 061 0 011 0 907 0 007 手势 8 0 000 0 000 0 002 0 015 0 009 0 058 0 004 0 913 表 5 7 存在模板自适应的手势识别精度 手势 手势 1 手势 2 手势 3 手势 4 手势 5 手势 6 手势 7 手势 8 手势 1 0 969 0 006 0 010 0 004 0 010 0 000 0 000 0 000 手势 2 0 004 0 972 0 008 0 008 0 000 0 008 0 000 0 000 手势 3 0 004 0 002 0 966 0 002 0 013 0 004 0 009 0 000 手势 4 0 002 0 006 0 002 0 965 0 002 0 002 0 020 0 002 手势 5 0 011 0 002 0 009 0 002 0 953 0 002 0 020 0 002 手势 6 0 002 0 007 0 013 0 004 0 000 0 950 0 002 0 022 手势 7 0 002 0 002 0 014 0 004 0 024 0 002 0 953 0 000 手势 8 0 000 0 002 0 012 0 004 0 004 0 027 0 000 0 952 表中列标题表示不同的手势 行标题表示手势识别系统识别出来的手势 从 测试结果可以看出 基于模板自适应的手势识别率达到了95 以上 相比于无模 板自适应的手势识别率要高 实验结果表明 在日常生活中 个人的手势动作习 惯随时间有着细微差别 需要通过模板自适应这种机制更新样本模板库 从而来 缩短样本模板与个人手势动作的差距 提高系统的识别精度 5 能耗评测 此外 我们还测试了摩托罗拉里程碑2的电池续航时间 通过对实验数据集1 中六名用户的待机时间进行分析 在用户每天对图4 1所示手势集每个手势操作 10次左右 实验数据1中每个手势每天平均操作12次 平均待机时间在36 5 小时以上 摩托罗拉里程碑2的平均待机时间在40小时左右 可见在智能终端上 运行基于流水线处理的手势识别程序 不会对手机续航时间造成明显的影响 5 1 4 小结 本节在介绍实验方案的基础上 重点介绍了对e dtw算法和基于流水线处理 的手势识别机制的性能评测 实验基于android智能操作系统 采用moto a953智能手机作为实验终端 分 国防科学技术大学研究生院工学硕士学位论文 第 54 页 别针对e dtw算法性能 基于流水线处理的手势识别机制的耗时及能耗情况 手 势检测模块 非手势过滤策略 模板自适应策略进行性能评测 实验结果表明 本文e dtw算法比原有的dtw算法相比 耗时减少30 至55 与文献 54 所述 的dtw算法相比 耗时减少10 至25 表明e dtw算法 通过斜率限定曲线路 径 利用链表预先存储需要比较节点的上下边界以及设定门限值等策略 有效减 轻了模板匹配的计算量 缩短了计算时间 提高了手势识别的效率 对于基于流 水线处理的手势识别机制 在耗时方面 从手势动作开始到结束所耗费的时间 摩托罗拉里程碑2在60ms以下 即使是在入门级的华为c8500上 耗时80ms以下 同时从手势动作结束到手势识别所耗费的时间远小于手势动作本身时长 表明基 于流水线处理的手势识别机制能够以较小的耗时在智能终端上完成手势识别 系 统延迟小 反应快 可有效运行在智能终端上 在能耗方面 当手势服务开启时 moto a953的电池续航时间平均在36 5小时以上 表明在智能终端上运行基于流 水线处理的手势识别程序 不会对手机续航时间造成明显的影响 通过fbgd手势 检测模块和非手势过滤策略 基于流水线处理的手势识别机制能够在保持较低的 手势丢弃率 5 的情况下 有效过滤92 3 的非手势运动 从而在运算量繁重 的手势识别模板匹配之前将绝大多数非手势动作过滤掉 提高了手势系统的效率 增强了系统的鲁棒性 利用模板自适应策略 提高了手势识别的精度 手势识别 率在95 以上 综上可知 基于流水线处理的手势识别机制 通过fbfd手势检测 非手势过滤等策略 能有效过滤非手势数据 提高系统的处理效率 增强了系统 的鲁棒性 通过e dtw算法 进一步减轻了计算负担 提高了手势识别的效率 利用模板自适应策略 提高了手势识别的精度 基于流水线处理的手势识别在能 耗等方面都得到了很好的控制 不会对智能终端的正常使用造成明显影响 较高 的识别效率和识别精度带来更好的用户体验度 促进更加自由 自然的人机交互 5 2 phonecommandpen应用系统应用系统 手势识别可以将一系列的手势动作识别为有意义的操作 实现更加自由 自 然人 5 2 1 phonecommandpen简介 phonecommandpen手势识别应用系统将手机等智能终端当做指挥笔 通过利 用智 机交互 利用本文所述的基于流水线处理的手势识别机制 我们在android 平台和windows平台上实现了phonecommandpen手势识别应用系统 能终端上携带的加速度传感器来感知手势动作 然后通过手势识别 转换为 对应的机器语言 通过wifi控制电脑端幻灯片 pdf word文档等进行翻页 标 记等操作 利用phonecommandpen 可以脱离讲台或在电脑前通过鼠标操作幻灯 国防科学技术大学研究生院工学硕士学位论文 片 不需要携带专用的电子指挥笔 只需要将随时随身的智能终端连接上电脑 即可脱离鼠标的局限 更加自由 自然地与机器交互 图 5 4 phonecommandpen 示意图 5 2 2 phonecommandpen系统组成 phonecommandpen由智能终端端程序和pc端程序组成 其系统结构如图5 5 所示 a 智能终端端系统结构 第 55 页 国防科学技术大学研究生院工学硕士学位论文 b pc 端系统结构 图 5 5 phonecommandpen 系统结构图 phonecomandantepen智能终端端程序利用加速度传感器采集手势数据 通过 基于流水线处理的手势识别模块识别出具体手势 之后按照手势与操作语义映射 规则进行处理 将对应的执行命令通过wifi通信传输至pc端 如图5 6所示 图 5 6 智能终端端数据流程图 智能终端端各模块的主要功能如下 1 样本模板管理模块 对手势样本模板进行管理 包括手势样本模板的添加 训练 删除 更新等操作 2 基于流水线处理的手势识别模块 对手势数据进行识别 并根据识别结果 依据模板自适应策略更新样本模板库 3 手势与操作语义映射模块 将识别的手势映射为pc端可执行的机器语言 在phonecommandpen中 具体映射关系如表5 8所示 4 通信模块 负责将执行命令或加速度数据传送给pc端 表 5 8 手势与 pc 端机器语言映射关系 手势 pc 端机器语言 说明 手势 1 对应 pc 端键盘向右方向键 操作命令手势 手势 2 对应 pc 端键盘向左方向键 操作命令手势 手势 3 对应 pc 端键盘向上方向键 操作命令手势 手势 4 对应 pc 端键盘向下方向键 操作命令手势 手势 5 转入鼠标位移阶段 状态转换手势 手势 6 转出鼠标位移阶段 状态转换手势 手势 7 转入鼠标标记阶段 状态转换手势 手势 8 转出鼠标标记阶段 状态转换手势 在对幻灯片 pdf文档等进行标记的过程中 需要通过移动鼠标来进行标记 第 56 页 国防科学技术大学研究生院工学硕士学位论文 phonecommand利用智能终端上加速度传感器采集的x轴 z轴方向的加速度数据 来计算pc端鼠标在x y方向的移动 由于加速度传感器采集的加速度数据与智 能终端在三维空间所处的方位有关 智能终端倾斜角度不同 采集的加速度数据 也不同 为了尽量准确的移动鼠标 要求用户在进行标记的过程中尽量将手机平 放 手机屏幕朝上 手机底端正对着用户 phonecomandpen的pc端程序主要通过网络接收智能终端端传输的操作命 令 并通过执行模块执行相应的操作 pc端各模块主要功能如下 1 通信模块 负责接收智能终端传输过来的命令 2 执行命令模块 根据接收到的命令 执行对应的操作 比如模拟鼠标左键 单击等 3 位移计算模块 将智能终端x z方向的加速度数据转换为pc端鼠标对应 在屏幕x y方向的移动 在对幻灯片 pdf等文档进行标记的过程中 需要移动 鼠标 phonecommandpen根据如下公式计算位移 0 0 vdttatv t 5 1 ttt dtvdttadttvts 00 0 0 5 2 5 2 3 phonecommandpen系统实现 phonecommandpen智能终端端采用java语言 在eclipse adt的开发环境下 编程实现 主要类如图5 7所示 phonecommandpen的pc端采用c 语言 在visual studio 6 0的开发环境下 针对windows xp编程实现 主要类如图5 8所示 phonecommandpen智能终端端编程实现后以apk文件的形式安装 pc端以 exe文件的形式安装 安装完毕后 将智能终端端与pc通过wifi连接 即可通过 智能终端控制电脑端幻灯片 pdf word文档等进行翻页 标记等操作 我们在智能终端摩托罗拉里程碑2上以及lenovo thinkpad t410i pc上运行了 phonecommandpen应用系统 运行情况表明phonecommandpen应用系统能在摩 托罗拉里程碑2以及lenovo thinkpad t410i上流畅运行 系统反应快 延迟小 能够以较高的效率和精度控制pc端幻灯片翻页 标记等操作 提高了用户体验度 达到了比较自然 和谐的交互效果 第 57 页 国防科学技术大学研究生院工学硕士学位论文 第 58 页 activity from upcom chw sensing edtwresultcomparator compare from upcom chw sensing edtw distdtw int m nreferencenum int getdtwdistance run from upcom chw sensing thread min priority int 1 norm priority int 5 max priority int 10 threadq thread from lang edtwresult m nreferencenum int m name string m nresult int from upcom chw sensing referencedata m list linkedlist m name string m nnum int m ntable int from upcom chw sensing networksetactivity from upcom chw sensing gesturetemplatemanager addtemplate deletetemplate from upcom chw sensing pipelineparameters m nsmasize byte m fastrong float m faforward float m fabackward float m fte float m fabtoastime float m fastoabtime float m fabtoaftime float m faxmin float m faxmax float m faymin float m faymax float m fazmin float m fazmax float m ftimemin float m ftimemax float m nrasamplerate float from upcom chw sensing accelerometerdata m ntime long m fx float m fy float m fz float from upcom chw sensing edtwmanager m resultlist linkedlist m testlist linkedlist m allreferencelist linkedlist run from upcom chw sensing quantificationdata m ntime long m nx byte m ny byte m nz byte from upcom chw sensing pipelinemanager m rawdatalist linkedlist m smoothdatalist linkedlist m resampledatalist linkedlist m quantificationdatalist linkedlist m allreferencedatalist linkedlist smooth fbgd astrong fbgd aforward fbfd afbackward nongesturefilter edtwbythread templateselfadaption from upcom chw sensing gestureservice m brunning boolean m sensormanager sensormanager m binder gesturebinder oncreate onstart ondestory onunbind onaccuracychanged onsensorchanged from upcom chw sensing addactivity from upcom chw sensing gesturetemplatemanageractivity from upcom chw sensing networkclient m connect socket m outstream outputstream m ip string m port int m strmes string clientinit stringtobyte from upcom chw sensing instructionmapping from upcom chw sensing service from upcom chw sensing 图 5 7 智能终端端类图 国防科学技术大学研究生院工学硕士学位论文 networksetdlg phonecommandpenmaindlg start stop displacement accelerometerdatalist clist caculatedis instructionmapping accelerometerdata m ntime long m fx float m fy float m fz float networkserver m sockconn socket serverinit cdialog from dialog boxes 图 5 8 pc 端类图 5 2 4 小结 本 节 主 要 介 绍 了 基 于 流 水 线 处 理 的 手 势 识 别 应 用 系 统 phonecommandpen phonecomandpen将手机等智能终端当作指挥笔 通过利 用智能终端上集成的加速度传感器来采集手势动作信息 然后通过手势识别 转 换为对应的机器语言 通过wifi控制电脑端幻灯片等文档进行翻页 标记等操作 phonecommandpen由智能终端端和pc端组成 本文分别在android和windows xp 平台上编程实现并运行 运行过程流畅 系统响应快 延迟小 精度高 phonecommandpen的实现表明基于流水线处理的智能终端手势识别是可行的 能 在不明显增加智能终端能耗的前提下 以较高的识别效率和精度 带来更好的用 户体验度 促进人与机器更加自由 自然地交互 5 3 小结小结 在本章中 我们首先