（计算机系统结构专业论文）基于笔手势的笔式人机交互系统研究.pdf

南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位 获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文 ( 包括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论 文，并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将 公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检 索、文摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向 教育部指定单位提交公开的学位论文：( 4 ) 学位论文作者授权学校向中国科技信息研究所和 中国学术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文 数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答 辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 惑塞堡 2 0 1 0 年5 月2 9 日 南开大学研究生学位论文作者信息 论文题目 基于笔手势的笔式人机交互系统研究 姓名 戴文华学号 2 1 2 0 0 7 0 2 8 4 答辩日期2 0 1 0 年5 月2 7 日 论文类别博士 学历硕士团硕士专业学位口高校教师口同等学力硕士口 信息技术科学学院 院系所专业计算机系统结构 机器智能研究所 联系电话 1 3 8 2 1 3 4 7 3 3 6e m a i l d a i w h _ 19 8 5 y a h o o c o r n c n 通信地址( 邮编) ：天津市南开大学机器智能研究所( 3 0 0 0 7 1 ) 备注：是否批准为1 仁公开论文否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 332m 4jjji-8 1洲y 一 南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕十学位 获得者均须向南开火学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开人学拥有住 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文 ( 包括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论 文，并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将 公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检 索、文摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向 教育部指定单位提交公开的学位论文：( 4 ) 学位论文作者授权学校向中国科技信息研究所和 中国学术期刊( 光盘) 电子出版社提交规定范闱的学位论文及其电子版并收入相应学位论文 数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交雨i 服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 l i n d e x h t m 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答 辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图二f 5 馆留存。 作者暨授权人签字：越蝗 2 0 o 年z 月牛同 南开大学研究生学位论文作者信息 论文题目基于笔手势的笔式人机交互系统研究 姓名戴文华学号 21 2 0 0 7 0 2 8 4 答辩日期2 0 1 0 年5 月2 7 日 论文类别阱十口学历硕十习硕十专业! 付口高校教师口同等。学力硕十口 信息技术科学! 学院 院系所 专业计算机系统结构 机器智能研究所 联系电话 1 3 8 2 1 3 4 7 3 3 6 e m a i l d a i w h 一19 8 5 y a h o o c o m c l l 通信地址( 邮编) ：天沣市南开火学机器智能研究所( 3 0 0 0 7 1 ) 备注：是否批准为1 f 公开论文i否 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 ! 、_ o j 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所 取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包 含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名：戴塞垡2 0 1 0 年5 月2 9 日 非公开学位论文标注说明 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级 口限制( 2 年)口秘密( 1 0 年)口机密( 2 0 年) 保密期限 2 0 年月日至2 0年月日 审批表编号批准日期 2 0 年月日 限制2 年( 最长2 年，可少于2 年) 秘密l o 年( 最长5 年，可少于5 年) 机密2 0 年( 最长l o 年，可少于l o 年) 摘要 摘要 随着计算机技术的逐步发展，它强大的存储能力和计算能力也越来越为其 它传统学科所吸引，各类学科的数字化发展也成为了一种趋势。然而，有些重 要学科知识的结构化信息在传统的图形用户界面下很难被有效地输入和使用， 比如数学公式和化学公式。笔式交互系统中基于纸笔隐喻的交互特点可以完美 的解决这个问题，因为传统学科的知识传承载体一般就是含有各类文字和图像 信息的书籍，这正与笔式系统的交互特性相符。 本文从化学的笔式交互应用角度出发，先是研究了笔手势交互的设计与识 别技术。笔手势的设计原则从人机交互的两大交互对象人和计算机考虑， 以认知学相关的理论为指导，再运用模式分类中相似性度量的理论来分析，归 纳和总结了笔手势设计的基本原则，并根据这些原则设计了化学应用笔式系统 的笔手势集。对于笔手势的识别技术，本文针对笔手势识别的一个经典算法一 一r u b i n e 算法，从r u b i n e 算法的假设前提出发，分析出r u b i n e 算法的不足之 处，并在此基础上改进了该算法，获得了更好的识别结果。 在有了比较成熟的笔手势技术研究后，本文针对化学的笔式应用，进行了 化学应用笔式交互系统模型的设计。模型的设计从行为预测模型开始，从用户 的角度设计了行为模型，再运用模型转化技术将行为模型转换成系统结构模型， 并以此来指导化学应用笔式系统的实现。 在完成了系统的结构模型之后，本文结合了笔手势技术设计并实现了一个 化学应用的笔式人机交互系统。该系统支持手写化学公式录入、编辑和识别， 并可模拟一部分常用的化学公式反应的实验过程。 最后本文从笔手势技术和系统界面表现的角度对整个化学应用笔式人机交 互系统进行了实验和评价，实验结果表明该系统具有可用性和实用性，并可流 畅的完成化学应用的功能。 关键字：笔手势笔式交互笔手势识别交互系统模型 a b s t r a c t a b s t r a c t w i t ht h eg r a d u a ld e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , v a r i o u sd i s c i p l i n e so f d i g i t a ld e v e l o p m e n th a s b e c o m eat r e n d h o w e v e r ，s o m ei m p o r t a n ts u b j e c t k n o w l e d g eo fs t r u c t u r e di n f o r m a t i o ni sd i f f i c u l tt oe f f e c t i v e l yi n p u ta n du s ei nt h e t r a d i t i o n a lg r a p h i c a lu s e ri n t e r f a c e ，s u c ha sm a t h e m a t i c a lf o r m u l a sa n dc h e m i c a l f o r m u l a s p e n b a s e di n t e r a c t i v es y s t e m sw h i c hi n t e r a c tw i t l lp e na n dp a p e rc a nb e t h ep e r f e c ts o l u t i o nt ot h i sp r o b l e m ， t h i sp a p e ri sf r o mt h ep e n - b a s e di n t e r a c t i v ea p p l i c a t i o n so fc h e m i c a lp o i n to f v i e w a n di ta r t i c l er e l a t e dt oc o g n i t i v el e a r n i n gt h e o r ya sag u i d e ，t h e nu s i n go f p a r e mr e c o g n i t i o nt h e o r y o fs i m i l a r i t ym e a s u r e st oa n a l y z e ，s u m m a r i z e ，a n d s u m m a r i z e st h e b a s i cp r i n c i p l e so fd e s i g no fp e ng e s t u r e s f o rt h er e c o g n i t i o n t e c h n o l o g yo fp e ng e s t u r e s ，t h i sp a p e ra n a l y z e s ac l a s s i c g e s t u r er e c o g n i t i o n a l g o r i t h m ：r u b i n ea l g o r i t h mf o rs o m es m a l lf l a w sa n ds h o r t c o m i n g s ，a n do nt h i s b a s i s ，t oi m p r o v et h ea l g o r i t h mt oo b t a i nb e t t e rr e c o g n i t i o nr e s u l t s t h i s p a p e r sp e nf o rc h e m i c a la p p l i c a t i o n , c h e m i c a la p p l i c a t i o np e nf o r i n t e r a c t i v es y s t e m sd e s i g no ft h em o d e l a f t e rc o m p l e t i n gt h es y s t e ma r c h i t e c t u r e m o d e l ，t h i sa r t i c l ec o m b i n e st h et e c h n i c a ld e s i g nd o c u m e n ts i g na n di m p l e m e n t a t i o n o fac h e m i c a la p p l i c a t i o no fp e n - b a s e dh u m a n - c o m p u t e ri n t e r a c t i o ns y s t e m t h e s y s t e ms u p p o r t si n p u th a n d w r i t t e nc h e m i c a lf o r m u l a s ，e d i t ，a n dr e c o g n i t i o n ，a n dc a n s i m u l a t et h ec h e m i c a lf o r m u l ao fs o m ec o m m o nr e a c t i o ne x p e r i m e n t f i n a l l y , f r o mt h ep e ng e s t u r ei n t e r f a c et e c h n o l o g i e sa n ds y s t e mp e r f o r m a n c e p o i n to fv i e wo ft h ec h e m i c a la p p l i c a t i o ns y s t e mf o rp e n - b a s e dh u m a n - c o m p u t e r i n t e r a c t i o na n de x p e r i m e n t a le v a l u a t i o n ，e x p e r i m e n t a lr e s u l t ss h o wt h a tt h es y s t e m h a st h ea v a i l a b i l i t ya n dp r a c t i c a l i t y , a n dc a ns m o o t hf u n c t i o no ft h ec o m p l e t i o no f c h e m i c a la p p l i c a t i o n s k e yw o r d s ：p e ng e s t u r e ，p e n b a s e d i n t e r a c t i o n ，p e ng e s t u r er e c o g n i t i o n ， i n t e r a c t i v es y s t e mm o d e l 目录 目录 摘要i a b s t r a c t i i 第一章绪论1 第一节研究背景1 1 1 1 普适计算1 1 1 2 人机交! 互。1 1 1 3 笔式人机交互。2 1 1 4 化学教学科研数字化3 第二节国内外笔式交互研究状况5 1 2 1 国外笔式交互研究状况5 1 2 2 国内笔式交互研究状况5 第三节本文的目标和主要工作6 第四节本文的组织结构7 第二章笔手势集设计与笔手势识别研究9 第一节笔手势技术概述9 2 1 1 笔手势的定义。9 2 1 2 已有笔式交互系统的手势集1 0 2 1 3 现有的笔手势识别算法1 3 第二节笔手势集设计1 5 2 2 1 笔手势的特点与分类1 5 2 2 2c a p h c i 笔手势的设计l5 第三节笔手势识别的特征提取1 9 2 3 1 特征提取的原则1 9 i i i 目录 2 3 2c a p h c i 笔手势特征提取2 0 第四节笔手势识别的分类器设计2 2 2 4 1 r u b i n e 算法分类器设计的不足2 2 2 4 2c a p h c i 的贝叶斯决策分类器2 3 第五节基于用户风格的笔手势识别机制2 5 2 5 1 基于用户风格的识别2 5 2 5 2c a p h c i 笔手势识别2 7 第三章基于笔手势的笔式应用系统研究3 0 第一节人机交互系统模型研究3 0 3 1 1 人机交互模型概述3 0 3 1 2 行为模型3 0 3 1 3 结构模型3 2 第二节c a p h c i 系统模型设计3 4 3 2 1 行为模型设计3 4 3 2 2 交互系统结构模型3 6 第三节c a p h c i 交互系统的实现3 8 3 3 1系统框架3 8 3 3 2 命令集和笔手势集3 9 3 3 3 界面设计4 0 3 3 4 实验模拟引擎4 3 3 3 5 其它机制4 4 第四章系统实验和评测。4 8 第一节笔手势设计合理性测试4 8 4 1 1c a p h c i 笔手势的自然性和用户接受性4 8 4 1 2c a p h c i 笔手势的易识性和系统可理解性。5 0 第二节笔手势识别算法测试实验5 2 第三节c a p h c ! 界面表现评估5 4 i v 目录 4 3 1 笔式交互系统的界面表现评估机制5 4 4 3 2c a p h c i 系统的界面表现5 7 第五章总结和展望6 0 第一节本文工作的总结6 0 第二节进一步工作及展望6 l 参考文献6 2 致谢。6 5 个人简历、学术论文与研究成果6 6 n 图目录 图目录 图1 1 化学公式编辑软件( c h e m d r a w ) 4 图2 1笔手势示例。io 图2 2a p p l en e w t o n 和u sr o b o t i c sp a l m p i l o t 手势集。1o 图2 3g 刚g 刚系统的手势集1 l 图2 4s a t i n 系统的笔手势集。l l 图2 5c a d e s k 系统笔手势集1 2 图2 6 ( a h d ) 为通用手势集，( e ) 如) 为电影列表应用软件专用手势集。1 2 图2 7m a t h w r i t e 2 0 所使用的笔手势集13 图2 8 符合正态分布的两个一维变量概率密度分布图。1 7 图2 9c a p h c i 系统笔手势集。1 9 图2 1 0c a p h c i 系统笔手势识别流程结构图2 7 图3 1s e e h e i m 模型3 3 图3 2m v c 模型3 3 图3 3c a p h c i 行为模型3 5 图3 4 模型转换整体框架3 6 图3 5c a p h c i 交互系统结构模型3 7 图3 6c a p h c i 系统框架。3 9 图3 7 界面设计步骤关系图4 0 图3 8 实验模拟数据手势4 3 图3 9 实验模拟化学反应过程展现图4 4 图3 1 0 笔手势自定义机制命令选择窗口4 5 图3 1 l笔手势自定义笔划书写窗口4 6 图4 1c a p h c i 笔手势集方便程度折线图4 9 图4 2c a p h c i 系统主界面图5 8 v i 表目录 表目录 表2 1c a p h c i 系统各笔手势样本协方差矩阵的逆的行列式值2 3 表3 1c a p h c i 系统公式应用的命令集。3 9 表3 2c a p h c i 界面语义信息表。4 l 表4 1c a p h c i 笔手势集匹配程度调查结果4 9 表4 2c a p h c i 笔手势集关联程度测试结果表5 0 表4 3c a p h c i 笔手势马氏距离测量结果5 1 表4 4c a p h c i 笔手势集t a n i m o t o 系数测量结果5 2 表4 5c a p h c i 笔手势识别结果测试。5 3 表4 6c a p h c i 笔手势用户手写风格测试结果5 3 表4 7c a p h c i 系统各界面对象评估值5 8 v i i 第一章绪论 1 1 1普适计算 第一章绪论 第一节研究背景 1 9 9 1 年，x e r o x 公司的首席执行官m a r kw e i s e r 博士提出了普适计算 ( p e r v a s i v ec o m p u t i n g ) 的思想【l 】，它是指无所不在的、随时随地可以进行计算 的一种方式，强调计算同人的生活空间相融合，将普适计算设备嵌入到人们生 活的环境中，为人们提供计算和信息访问等服务。一般认为计算模式的发展主 要经历了三个时期。前两个时期分别是主机计算( m a i n f r a m ec o m p u t i n g ) 时代 和个人机计算( p e r s o n a lc o m p u t i n g ) 时代，而普适计算就是第三个计算时代。 普适计算的特点包括无处不在性、自然交互性、上下文感知、透明交互性等【2 j 。 普适计算涉及的技术研究范围非常广泛，可包括移动计算机、分布式计算、上 下文感知计算、人机自然交互等多方面的内容。其中，自然的人机交互技术， 就是普适计算理论研究当中的一个重要组成部分。 1 1 2 人机交互 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ，h c i ) 是指人与计算机之间以一定 的交流方式，来完成某一任务而进行的人机之间双向信息交换的过程。人机交 互研究的最终目的在于探讨如何使所设计的计算机能帮助人们更安全、更高效 地完成所需的任务。人机交互的发展主要经历了四个阶段：批处理交互；命令 行交互；w i m p ( w i n d o w , i c o n ，m e n u ，p o i n t i n gd e v i c e ) 交互和多通道人机交互。 目前主流的人机交互方式是w i m p 交互方式。不过随着计算机软硬件技术的持 续发展和计算机应用领域的不断扩展，人们对于人机交互的自然性和高效性的 要求也越来越高。w i m p 交互方式具有让用户关注操作的特点，这正制约着高 效、自然的交互理念，因此，多通道人机交互技术的发展也就应运而生了。多 通道人机交互技术的特点【3 j 有： 第一章绪论 不少于一个的非传统交互通道：顾名思义，多通道人机交互就是要有多 个人机交互的通道。各通道之间在功能上有交叉和相互影响，从而提高 整个系统的鲁棒性。 交互的双向性：人机交互的双方分别为人和机器。一方面，人可以通过 输入设备或渠道输入机器能理解和处理的信息，另一方面，机器也可以 根据人的输入内容反馈出合适的结果给人观察或使用。 交互的隐含性：传统的w i m p 交互方式是显式对话模式，人机之间的 交互并不是自然和随心所欲的。智能化的多通道人机交互应该具备隐式 交互的能力，不必让用户分心到交互界面上。 交互的非精确性：非精确性的交流模式是人类日常所习惯的一种模式。 比如人类语言本身就具有高度模糊性。多通道人机交互应具备这种模糊 性的交互方式，这样有利于提高交互活动的自然性和高效性，避免不必 要的认知负荷。 多通道人机交互技术的发展得益于很多非传统交互技术的出现和发展。虚 拟现实交互技术、语音识别交互技术、视线追踪交互技术、自然语言理解技术、 表情识别技术和笔式交互技术等，都使得多通道人机交互能应用于更广泛的领 域。其中，笔式人机交互系统是一种基于纸笔隐喻的交互系统，它主要以手写 笔随意勾画的形式进行人机交互。 1 1 3 笔式人机交互 笔式交互系统起源于1 9 6 3 年。s u t h e r l a n d 的s k e t c h p a d 4 1 是第一个笔式用户 界面系统，该系统使用光笔在c r t 显示器上指点和标记图形。1 9 7 1 年，x e r o x p a r c 的a l a nk a y 提出笔式电脑d y n a b o o k 5 j 的构想和n o t e t a k i n g 的概念。7 0 年代中期，随着光栅显示器的流行和鼠标被广泛接受，图形用户界面进入统治 时期，笔式用户界面研究停滞。8 0 年代后期9 0 年代初，网络计算出现并流行 了起来，而移动计算也成为一个重要的发展方向，具有笔交互特征的笔式计算 环境和个人数字助理( p d a ) 迅速发展，使得笔式人机交互的研究逐渐受到重 视。与传统的w i m p 交互系统相比，笔式人机交互的具有以下不同的特点： 交互的自然性：纸笔的使用有过上千年的历史，人们已经在潜移默化中 习惯了它的使用。所以与只流行了数十年的基于键鼠的w i m p 交互方 2 第一章绪论 式相比，笔式系统基于纸笔隐喻的交互方式更为让人们感觉自然和熟 悉。 交互信息的连续性：在笔式交互系统中，笔的输入是以笔划为基元的， 笔划勾画的过程是一个连续的过程，所以交互过程中笔划的信息也具有 连续性。 交互的非精确性：笔式交互系统中，笔的输入信息是以某一特定频率进 行采样，然后将笔的数字化信息传入计算机，这个过程本身就存在对连 续数据离散化的误差。而且，用户在勾画笔划时也是具有书写风格性和 随意性的。这些都与w i m p 交互中每一步击键操作的确定性有很大不 同。 以用户为中心：在传统的人机系统中，由于受系统资源和技术水平的影 响，用户往往要去适应机器，按照机器的处理能力去分配任务。而随着 科学技术水平的提高，机器性能越来越好，运算、存储的能力越来越高， 人不用再局限于机器的性能。在新的人机交互技术研究中，比如笔式交 互系统，系统的设计和使用都会以用户为中心，从用户的角度去考虑如 何高效、自然的使用系统。 交互的隐含性：在笔式交互系统中，主要的交互方式是通过笔手势来实 现的，这种将命令交互隐藏于数据信息交互中的方法会使用户把所有的 注意力集中到数据信息这些有用的目标中，而忽略其它无用的对象。这 种的隐式交互方式体现的自然交互的性质。 基于笔手势的交互风格：笔手势是纸笔交互隐喻下的自然命令方式。用 户无需转变思维方式，操作命令和操作参数直接蕴含在笔划中，简洁直 观。 1 1 4 化学教学科研数字化 化学是研究物质的性质、组成、结构、变化和应用的科学。世界是由物质 组成的，化学则是人类认识和改造物质世界的主要方法和手段之一，它是- - 1 7 历史悠久而又富有活力的学科，它的成就是社会文明的重要标志【6 1 。化学方程 式，也称为化学反应方程式，是用化学式表示不同物质之间化学反应的式子。 化学方程式反映的是客观事实。因此书写化学方程式要遵守两个原则：一是必 3 第一章绪论 须以客观事实为基础，绝不能凭空臆想、臆造事实上不存在的物质和化学反应； 二是要遵守质量守恒定律，等号两边各原子种类与数目必须相等。在化学领域 中，化学方程式是化学知识理论的提炼，一个个简单明了的化学方程式，就可 以表示出各种纷繁复杂的化学反应过程。 随着信息化社会的发展，为了使用计算机高性能的计算、存储和智能化的 能力，许多传统学科的工作也逐渐地被转移到电子设备上完成。然而，有的学 科，比如化学，如何自然、高效地进行化学知识和化学方程式的录入是一个不 好解决的难题。目前，化学方程式的信息录入主要是通过一些专门的化学编辑 软件【7 】【8 】录入的。但是这些软件( 如图1 1 ) 有一些在传统图像用户界面下无法 去掉的缺点：界面复杂；效率低下；操作繁琐。由于化学方程式录入的困难和 应用的受限，所以化学知识的数字化发展也受到很大的抑制。如何能够解决目 前的这种困境呢? 笔式交互系统的发展给了我们方向和启示。与传统的w i m p 交互方式相比，笔式交互的方式更适合化学方程式这类半结构化文档的输入。 因为化学知识及化学方程式传统的记录、传授及表达的方式就是基于普通纸笔 进行交流的，而纸笔交互正是笔式交互系统所要实现的交互方式。所以，研究 在笔式交互系统下，如何自然高效地进行化学方程式录入、编辑和应用，对化 学教学质量、化学学术交流等，具有十分重要的学术价值和应用前景。 ：l ；“_ 。“i pq 。“三q 4 毽 二l j h + 一! 邑! ? ，i 1 i 一：一 一_ j 一“i v ! 盘n 烈- h ，n 一0 邺她 图1 1化学公式编辑软件( c h e m d r a w ) 4 第一章绪论 第二节国内外笔式交互研究状况 1 2 1国外笔式交互研究状况 近期国外的很多高校或研究机构都有关于笔式交互系统和笔式用户界面的 研究项目。m i tt h o m a se s t a h o v i c h 设计开发的s k e t c hi t i 9 】是支持机械设计的工 具，它可以将机械设计的草图转化为精确的集合描述，同时向设计者提供多个 基于此草图的设计方案。而m i t 的a g e n t s 项目是一个研究笔式、语音和表 情等多个交互技术相结合的多通道交互系统。b e r k l e y 大学g u i r 实验室重点研 究基于笔的设计工具，他们设计并实现了支持笔交互界面开发的工具系统 s a t i n m 】和网站的设计d e n i m 1 1 】。c m u 大学人机交互学院开发了支持笔交互 的工具箱系统g a r n e t t l 2 】，并设计实现了通过勾画设计图形用户界面原型的工 具s i l k 1 3 l 。x e r o xp a r c 的研究人员设计实现了支持手写和语音的电子笔记本 系统d y n o m i t e 1 4 1 ，在记笔记过程中不识别手写信息的方法以降低用户的认知负 荷。b e r k e l e y 的g u i r 实验室开发的n o t e p a l s ”】贝0 是一个支持会议或课堂中思 想捕捉的工具，它支持笔记的共享和检索。在用于教学应用的笔式交互系统方 面。m i t 计算机科学与人工智能实验室研发了一种基于笔的辅助教学系统c l p ( c l a s s r o o ml e a r n i n gp a r t n e r ) 1 6 】，该系统由一系列接到网络的t a b l e tp c 组成， 能够帮助老师统计学生学习情况，获取学生反馈，提高教学质量。微软公司2 0 0 3 年推出的m i c r o s o f to f f i c eo n e n o t e 1 8 】是一个笔记记录和管理程序，其设计理念 就是“随心所欲地获取、组织和重复利用你的笔记”，支持对手写笔记的重新编 辑、加工、分类和检索。 1 2 2 国内笔式交互研究状况 国内对笔式交互的研究主要集中在中科院软件所。中国科学院软件所对笔 式人机交互技术的相关研究【1 9 l 【2 0 】【2 l l l 2 2 】【2 3 1 ，内容涉及笔式交互信息模型、笔式交 互系统设计与实现、笔手势的设计与识别等，并提出了基于笔式用户界面的p i b g ( p a p e r , i c o n ，b u t t o n ，g e s t u r e ) 交互范式【2 4 】。中国科学院自动化研究所提出基于 部首的汉字识别方法，另外对手写日文的识别技术也进行一系列研究 2 5 1 1 2 6 j 。南 京大学计算机科学与技术系对手绘草图的信息表示、识别和检索等进行相关研 5 第一章绪论 究，尝试了基于图匹配【2 7 1 、基于笔序【2 引、自适应h m m p 引、基于上下文【3 0 j 、基于 决策树【3 l 】等多种手绘草图识别方法。北京大学主要研究数字墨水在儿童教育中 的应用，设计并实现了儿童绘图教育原型系统。中科院软件所设计实现了一个 用于几何教学的笔式交互系统i i p w ( i n t e l l i g e n ti n t e r a c t i v ep e n b a s e d w h i t e b o a r ds y s t e m ，智能交互笔式白板系统) n ，该系统支持数字墨水批注、 笔勾画、笔手势交互等，使得几何教学形象易懂，但该系统仍未完全摆脱图形 用户界面的形式，属于基于图形用户界面的笔交互增强系统。华南理工大学人 机通信智能接口实验室在人机通信智能接口、文字识别、数字墨水的美化及书 写质量评价、计算机辅助汉字学习、旋转方向无关的无约束手写中文词组识别 等方面做了一系列研究，研发出草书书写联机手写汉字输入系统、低分辨率运 动手写体汉字识别系统、计算机辅助汉字学习系统等，并构造手写体汉字样本 数据库、手写体签名样本数据库等1 3 2 1 。 第三节本文的目标和主要工作 目前，多媒体教学已普遍流行于各高校和中小学中，计算机在教学中也扮 演着非常重要的角色。然而即使是在最先进的教学系统中，计算机也不能完全 替代一些传统的教学资源( 如黑板等) 。微软亚洲研究院在亚太地区发起一个名 为“教育中的移动计算”的研究项目，该项目的目的是通过利用移动计算来创新 或改进教学的方式。其中，一种比较有效地教学改进方式是利用t a b l e tp c 或手 写板，把教学中的纸笔系统( 包括黑板与粉笔) 和计算机的智能化功能结合起 来。笔式用户界面与手写识别技术是使用t a b l e tp c 教学的两个重要技术。在化 学教学中，化学公式的复杂性是人们利用计算机学习化学的最大障碍。化学应 用的笔式人机交互研究是一项有趣而又有用的研究，一方面，它要考虑如何像 普通纸笔那样自由地书写化学公式，另一方面，它要利用计算机的智能性，对 化学公式进行有效地编辑、分析和检索等计算机文档功能。 本文的研究目标是：研究笔式人机交互系统的模型，设计并实现一个化学 知识录入、编辑和应用的笔式人机交互系统( c a p h c i ，t h ec h e m i c a la p p l i c a t i o n o fp e n b a s e dh u m a n c o m p u t e ri n t e r a c t i o n ) ，该系统以笔手势作为主要的交互手 段，可自然高效地进行化学教学和学术交流等方面的工作。具体的工作内容包 括： 6 第一章绪论 1 ) 人机交互系统模型的研究和应用：总结和分析人机交互的系统模型，并 应用其中的模型方法为化学笔式人机交互系统设计模型基础。 2 ) 设计和实现化学应用笔式人机交互系统( c a p h c i ) 以c a p h c i 的模 型设计为基础，搭建整个系统框架，完善整个系统流程，并细化系统的每个任 务和操作应用。 3 ) 笔手势技术的研究：研究笔手势的设计方法和识别算法。笔手势技术是 笔式交互系统的关键技术，它在笔式系统下是一种自然、流畅的交互技术。笔 手势的设计方法从人和计算机两个交互对象来考虑，以可量化的方法来描述笔 手势设计的合理性。笔手势的识别算法上则在经典的r u b i n e 算法上加以改进， 在不明显提高识别时间的前提下增强识别的准确率和可再学习能力。 4 ) 对该交互系统进行测试和评估：对c a p h c i 系统的笔手势技术和系统 界面表现进行实验和评估。 第四节本文的组织结构 本文共有五章： 第一章：绪论。本章先是从大到小的简述普适计算理论、人机交互理论和 笔式人机交互理论的概念、发展和特点等。然后再分析了化学教学科研数字化 的现状和化学应用与笔式交互系统相结合的意义和价值。最后描述了国内外笔 式交互系统的研究状况，并提出了本文的目标和主要工作。 第二章：笔手势集设计与笔手势识别研究。先是简单介绍了笔手势的定义， 总结了已有笔式交互系统中所采用的笔手势集和现有的笔手势识别算法。然后 是笔手势集的设计，从人和计算机这两大交互对象的角度分析笔手势设计的原 则及在这些原则下所设计的c a p h c i 笔手势集。再就是描述笔手势识别的特征 提取，总结了特征的提取原则，描述了c a p h c i 所使用的特征向量。接下来是 笔手势识别的分类器设计，对r u b i n e 识别算法进行了改进，详述了新分类器的 推导过程。最后是提出了基于用户风格的笔手势识别机制，并从整体描述了笔 手势的识别过程和细节。 第三章：化学应用笔式人机交互系统设计与实现。总结人机交互系统的模 型类型，采用g u l 行为模型作为c a p h c i 系统的预测模型，然后将g u l 行为模型转化成结构模型。再以前面的模型为基础，描述c a p h c i 系统的系统 7 第一章绪论 框架、界面设计、实验模拟引擎和其它应用机制。 第四章：系统实验和评测。先是描述笔手势设计合理性的实验，包括有问 卷调查和笔手势相似性度量两方面的实验。然后是笔手势识别算法的实验，包 括有识别率测试的实验和用户手写习惯的测试实验。最后是对c a p h c i 系统的 界面表现评估。 第五章：总结和展望。对本文工作进行了总结，并展望了进一步工作的研 究方向。 8 第二章笔手势集设计与笔手势识别研究 第二章笔手势集设计与笔手势识别研究 2 1 1笔手势的定义 第一节笔手势技术概述 在传统的w i m p 交互系统中，按钮和菜单等控件是主要的命令交互方式， 这种交互的方式具有离散性和准确性等特点。然而，在笔式交互系统中，手写 笔输入的笔划本身就具有不确定性和随意性，同时手写笔的点击也不如鼠标那 样迅速和精确。倘若在笔式交互系统中还是完全采用w i m p 的命令交互方式， 则一方面该交互方式的准确性得不到稳定和有效地体现，另一方面书写笔划的 自然性和随意性也不能流畅地被运用。因此，传统的w i m p 交互方式并不适用 于笔式交互系统，而基于笔手势的交互技术，也就作为一种适应于笔式系统的 命令交互方式而被研究和发展起来。 在人们的日常交流中，手势经常用来辅助或代替语言交流和表达。有了手 势的辅助作用，