（计算机应用技术专业论文）机器智能系统的人机交互机制研究.pdf

文摘要 摘要 o c r 系统作为。种特殊的机器智能软件，包含极为复杂的人机交互机制， 它小仅需要提供良好的操作界面，同时还需要提供丰富的处理结果修改与编辑 功能。传统的软件界面设计方法和软什体系结构思想无法满足o c r 系统应用 界面的设计要求，无法保证o c r 应用系统的有效性和便捷性。 本文研究内容而向机器智能软件的应用领域，结合通用软件人机交互机制 发计思想和应用软件体系结构设计方法，创造性的提出了o c r 系统的人机交 互机制设计模型，该模型包括组件功能模型和人机交互机制模型，对o c r 系 统应用界面的数据描述机制、界面i 0 机制、用户操作机制、界而展示机制进 行了明确的功能划分，保证了底层数据的一致性、中间控制的鲁棒性、界而展 示的便捷性。 本文针对数学公式图像识别与理解系统，建立了完整的人机交互机制，对 公式定位、符号识别、结构分析等处理步骤设计了完整的处理结果编辑修改机 制，并进行了严格的工程实现，试验结果证明了本文方法的有效性。 本文研究成果可作为o c r 类人机交互界面设计的原型，有助于各类o c r 系统的应用系统开发；同时可以为其他机器智能软件的应用系统设计提供有益 的参考! 关键字 o c r 系统人机交互模型数学公式编辑器系统o c r 系统体系结构 a b s t r a c t a b s t r a c t a ss p e c i a ls o f t w a r ei nm a c h i n ei n t e l l i g e n c e ，o c rs o f t w a r e ，t h eh c l ( h u m a n c o m p u t e ri n t e r a c t i o n ) m e c h a n i s mi n i ti sc o m p l i c a t e d t h em e c h a n i s mn e e d sn o t o n l yaf a v o r a b l eo p e r a t i o ni n t e r f a c e ，b u ta l s op l e n t yo fo p e r a t o r st oi m p r o v ea n de d i t t h ep r o c e s sr e s u l t t h et r a d i t i o n a lm e t h o d so fs o f t w a r ei n t e r f a c ed e s i g na n ds o f t w a r e a r c h i t e c t u r ec a nn e i t h e rm e e lt h en e e d so fo c rs o f t w a r es y s t e mn o ra s s u r ei t s v a l i d i t ya n d c o n v e n i e n c e t h i sp a p e rp r o p o s e dac r e a t i v em o d e ld e s c r i b et h eh c i d e s i g ni no c r s o f t w a r e s y s t e m t h em o d e la p p l i e st ot h ef i e l do fm a c h i n ei n t e l l i g e n c e ，a n dc o n s u l t st h e m e t h o d si nt r a d i t i o n a lh c id e s i g na n ds o f t w a r ea r c h i t e c t u r ed e s i g n m o d u l ef u n c t i o n m o d e fa n dh c im e c h a n i s mm o ( f p fa r ei n c l u d e di n t h i sm o d e l t ba s s u r et h e c o n s i s t e n c yo fc o r ed a t a ，t h er o b u s to fc o n t r o l l e ra n dt h ec o n v e n i e n c eo fl a yo u t ，t h e f u n c t i o no f d a t ad e s c r i b em e c h a n i s m ，i om e c h a n i s m ，o p e r a t o rm e c h a n i s ma n d l a y o u tm e c h a n i s mi nt h i sm o d e l a r ec o m p a r t m e n t a l i z e ds p e c i f i c a l l y t h i s p a p e rs t r i k e su pc o m p l e t eh c im e c h a n i s ma i m i n g a tt h es y s t e mo f e x p r e s s i o ni m a g e sr e c o g n i z ea n da n a l y s i s ，a n ds u p p o r to p e r a t o r st oi m p r o v ea n d e d i t r e s u l ti nt h ep r o c e s so fe x p r e s s i o nl o c a t e ，c h a r a c t e rr e c o g n i z ea n ds t r u c t u r ea n a l y z e t h ei m p l e m e n to fa l lt h em e c h a n i s mm e a s u r e du pt h es t a n d a r ds t r i c t l y , a n dt h er e s u l t p r o v e dt h ev a l i d i t yo ft h em e t h o d s t h i sp a p e rp r o p o s e d t h e p r o d u c t i o no ft h i sp a p e r c a nb eu s e da sa na r c h e t y p ei ns o f t w a r es y s t e mt h a t i ss i m i l a rt ot h eo c rs o f t w a r es y s t e m a l s o ，i tc a np r o v i d eu s e f u lr e f e r e n c et ot h e d e s i g no fo t h e rm a c h i n ei n t e l l i g e n c es o f t w a r es y s t e m k e y w o r d t h ed e s i g nm o d e lo fo c r 、h c ie x p r e s s i o ne d i t o r s y s t e m 、t h es o f t w a r e a r c h i t e c t u r eo fo c r s y s t e m 内容目录 图目录 图1 1 可用性工程生命周期3 图2 1a r c h s l i n k y 元模型与m v c 模型的比较l o 图2 2o c r 系统软件人机交互机制模型1 4 图3 1 公式编辑器工作流程1 7 图3 2 类结构设计图2 0 图3 - 3 全局数据类结构示意图2 2 图3 4 a 对输入文档进行分析的主流程2 5 图3 4 b 对t o k e n 进行分析的流程2 6 图3 5 输出分析结构设计2 8 图3 6 用户操作机制流程示意图3 0 图3 7 子结构为左一右结构的位置调整流程图3 2 图3 8 子结构为上一下结构的位置调整流程图3 2 图3 9 子结构为上一中一下结构的位置调整流程图3 3 图3 1 0 标准函数名表达式的位置调整流程图1 3 4 图3 1 1 标准函数名表达式的位置调整流程图2 3 4 内容目录 图3 1 2 标准函数名表达式的位置调整流程图3 3 5 图4 1l o c a t e 操作的p r o o f e r 菜单3 6 图4 2s e g m e n t 操作的p r o o f e r 菜单3 7 图4 3r e c o g n i z e 操作的p r o o f e r 菜单3 8 图4 4 数学公式编辑器主界面3 8 图4 5 公式结构编辑界面3 9 图4 6 公式显示格式编辑界面4 0 图4 7 标准函数名表达式界面展示。4 l 图4 8 组表达式界面展示4 1 图4 9 角标表达式界面展示4 l 图4 1 0 嵌套分式表达式界面展示4 1 图4 1 1 定界表达式和标准函数名表达式界面展示4 2 图4 1 2 嵌套的根式表达式界面展示4 2 图4 1 3 复杂的多行表达式1 界面展示4 2 图4 1 4 复杂的多行表达式2 界面展示4 3 图4 1 5 复杂的分式表达式界面展示4 4 图4 1 6 复杂的矩阵表达式界面展示4 4 v i i 内弃月录 图4 1 7 用户操作的撤销和重做功能4 5 v u i 南开大学学位论文版权使用授权书 本人完伞了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷奉和屯子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录榆索以及提 供本学位论文全文或者部分的阅览服务；学校有权按有关规定向困 家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论义作者签名：嘲磅 。鲫；年参月7 几 经指导教师同意，奉学位论文属于俅密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年 月日 各密级的最长保密年限及书写格式捌定如下： 。内部5 年( 最长5 年，可少于5 年) 秘密l o 年( 最长l o 年，可少于1 0 年) 机密2 0 年( 最长2 0 年，可少于2 0 年) 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进 行研究工作所取得的成果。除文中已经注明引用的内容外，本学位 论文的研究成果不包含任何他人创作的、已公开发表或者没有公开 发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个 人和集体，均已在文中以明确方式标明。本学位论文原刨性声明的 法律责任由本人承担。 学位论文作者签名：坝毡 j 哆年6 引 日 导论 第一章导论 第一节人机交互设计技术概述 1 1 1 通用软件领域人机交互设计技术概述 1 1 1 1 人机交互设计的定义 2 0 世纪8 0 年代后期，美国计算机学会( a c m ) 和电气及电子工程师协会 ( m e e ) 建议把“用户界面设计”作为计算机科学的正式课程，这标志着人们 已开始重视系统的“可用性”和“用户体验”。 人机交互( h c i ) 领域经过了2 0 多年的发展，并且随着技术的不断出现， 尤其是互联网、移动通信、无处不在的计算机技术等的普及，扩展成了一门新 兴学科一一交互设计( i n t e r a c t i o nd e s i g n ) ，并开始受刮越来越多的关注1 6 j 。 交互设计，就是“设计用于支持人们日常工作、生活的交互式产品”【2 】。 所谓“交互”，是指人与设备、系统、网站等的直接或间接的通信过程。就应用 开发而言，目前的发展趋势是从面向功能的开发转向以用户为巾心的开发，更 注重可用性和用户体验。 1 1 1 2 人机交互设计的目标 人机交互机制的设计，应该能够满足用户的需要，而用户的需要总是关注 于系统的高层，例如这个系统的用途等。对用户的这些灭注进行分析，就可以 得到人机交互设计的两个目标，即“可用性目标”和“用户体验f 1 标”。 可用性目标又可以细分为如下目标：能行性f 1 标( 使用有效率) 、有效性目 标( 工作效率高) 、安全性r 标( 能安全使州) 、通用性目标( 具备良好的通用 性) 、易学性目标( 易于学习) 、易记性f 1 标( 使| = j 方法易记) 。 用户体验目标没有明确的定义，足由于随着各个应用领域新技术的层出不 穷，人们开始对产品有了更多的要求。人们希望交互设计不仅仅要提高工作效 率和生产力，更重要的是具备其他的一些品质，比如：令人满意、令人愉快、 有趣、引人入胜、有用、富有启发性、富有美感、可激发创造性和让人得到情 感上的满足等。 第1 厦 导沧 1 1 1 3 人机交互设计的生命周期模型 h c i ( 人机交互) 设计领域与软件工程领域相比，提i 叶i 的生命周期模型较少。 “可用性生命周期模型州别是d e b o r a hm a y h e w1 9 9 9 年提出的。这个模型体现 了可用性工程的总体概念，详细描述了如何执行町用性任务，并且说明了如何 把可用性任务集成到传统的软件开发生命周期中。这个牛命周期模型包含= 个 基本任务：需求分析、设计n 试，开发、安装，其中间阶段的予任务见罔1 1 。 赞2 页 导论 图1 1 可用性t = 程生命埘朗 c ) 口 几了硝f ll 丹饪务 m 请 止+ “1 扫舶t o jj 蔺0 - t ；翎h 硝；i f 4 - 11 2 机器智能系统的人机交互概述 1 ，1 2 1 机器智能系统软件的特点 在机器智能领域其系统软件有如下的特点： l ，计算量大，要求底层驱动机制算法优良； 机器智能系统的处理方法非常复杂，计算量很大，处理步骤繁多，处理 速度不快。这些，都要求底层驱动机制的算法必须不断的优化。 2 性能和功能需要不断的扩充，要求有鲁棒的中间控制层： 机器智能系统一直处于不断的发展变化中，其性能不断提高，功能不断 扩充，这就要求中间控制层必须要有良好的可扩展性和独立性。 3 机器的处理永远无法达到1 0 0 ，要求人的大量参与： 机器智能系统在处理问题的过程中，不町能达到1 0 0 的准确，因此， 为了提高这一领域应用软件的应用水甲，就必须在穆个处理过程叶 大量 加入人的参与来纠正系统的处弹错误，也就是需要大量的人机交互。 i i ，2 2 机器智能系统的人祝交互设计 底层驱动机制算法的不断改进，属于d 1 a ( d o c u m e n th n a g ea n a l y s i s ) | 】研 究领域，这并不是本文论述的要点。 机器智能领域应用系统的人机交互设计远远要比通用软件系统的人机交互 设订复杂的多。这种复杂性主要是因为其对“可用性目标”和“用户体验目标” 的实现都有很高的要求。由于机器智能领域癍_ e 封系统在不断的扩充和变化，其 人机交可设计要能够适应这种发展变化，不能影响其“可用性目标”和“用户 第3 页 甘论 体验目标”的实现：机器智能领域应用系统人机交互的操作较其他领域的应用 软件要频繁很多，这种和底层数据频繁的通信，对其叮用性要求自然不在话下， 同时，其操作还必须要满足“用户体验目标”的各项要求。以卜_ 这些要求的达 到，仪仪靠提高在软件系统岛层和用户的交瓦设计是不行的，而是需要存软什 系统内部设计良好的人机交互机制。 人机交互机制，摔制了用户界面和底层数据结构之间的通信，凶此，完整 的人机交瓦机制和体系结构良好的中间控制层，是机器智能系统能够满足人机 交互设计的“可用性目标”和“用，o 体验目标”的关键。 因此，在机器智能领域，其系统软件人机交互设计的重点，不雨是系统高 层即人机交互界而的设计，由是人机交互机制的设计。 第二节软件体系结构设计方法综述 1 2 1 软件体系结构综述 十年代的软件危机使得人们开始认识到刘软件总体的系统结构设计和规 格说明明显要比对算法和数据结构的选择显重要得多。在这种背景下，人们开 始对软件体系结构进行系统、深入的研究。 软件体系结构虽脱胎于软件丁程，但其形成| 一时借鉴了计算机体系结构和 网络体系结构中很多宝贵的思想和方法，最近儿年软件体系结构研究已完令独 立于软什工程 1 w 的研究，成为计算机科学的一个最新的研究方向和独立学科分 支。软件体系结构研究的丰要内容涉及软件体系结构描述、软件体系结构风格、 软件体系结构评价和软件体系结构的形式化方法等。觯决好软件的重用、质量 和维护i u j 题，是研究软件体系结构的根本目的。 虽然软件体系结构已经有r 广泛的研究和应用9 儿l2 1 ，并且产牛了标准化的 体系结构框架描述【1 ，但迄今为l 还没有个被大家所公认的定义。 仵本文中，我们采用的软件体系结构的定义如下： 软件体系结构为软件系统提供了一个结构、行为和属性的高级抽象，由构 成系统的元素的描述、这些元素间的相互作用、指导元素集成的模式以及这些 模式的约束组成。软件体系结构不仅指定了系统的组织结构和拓扑结构，并且 显示了系统需求和构成系统的元素之间的对应关系，提供了一些设计决策的基 第4 页 导论 本原理。 1 2 2 软件体系结构的设计过程 为了满足用户的要求，软件体系结构设计将主要精，j 放在将一个系统分解 为组件以及这些组件之日j 的相互作用上。基本的体系结构设计过程如下： 1 理解问题： 这个步骤是虽关键的，冈为它影响随后的设计质量。如果对问题没有一 个清晰的理解，就不叮能建立有效的解决方案。 2 确定设计元素及其关系： 这个步骤确定设计元素以及它们的相互依赖关系。这个阶段处于设计项 目的早期，是要刘。应用进行一种自然的功能分解，建立后续设计任务和 设计转换的基线。设计元素及元素关系的表示可以进一步划分为下血的 步骤： 定义系统上下文环境： 这有助于从应用系统的用户或者操作员的观点，来描述应用。 系统上下文环境对描述系统的用途以及确定系统的外部接n 非 常有用。 确定模块： 这个步骤涉及到把系统分为各种模块类型的设计操作( 设计操 作将在下一节中进行讲解) 的应用。在源代码中，一个模块代 表某组源代码文件，它具肓较高内聚力和较低的外耦合。由此， 要求模块之间的接口必须相对稳定和静止。 描述组件和连接器： 组件一般指某个软件单元的运行时实例。连接器可以像组件一 样，指的是卟软件荦元，也可以指的是某种通信机制或者通 信机制运行时的一个实例。确定组模块和组件是软件体系结构 设计的中心活动，因为许多软件的质量属性都包含在组件及它 们的连接器中。 3 评价体系结构设计： 这个步骤对体系绐构是否符合体系结构质量属性需求进行评估。虽然这 第5 页 导论 种评估的理想测试不可能进行，但是我们可以通过对设计的观察或通过 实现从体系结构上说有效的组件相互作用的原型进行评价。 4 ，转换体系结构设计： 这个步骤包括设计操作的应用，这些设计操作将在下一节中进行讲解， 它们会将体系结构设计转换为个满足质量属性要求，而且比以前更好 的新设计。这个阶段可以重复多次，甚至可以递灿的进行。 1 2 - 3 软件体系结构设计的设计操作 软件体系结构的设计操作是建立体系结构的基今设汁工具。设训操作的应 用就足把一个系统表示为多个组件，每个组件只有良好定义的接口并月通过某 些连接器进行交互，这些连接器足由全局的设计规则定义的。 常见的软件设计操作有： 1 分解： 分解是将不同的功能分离成具有良好定义接口的不同组件。在任何工程 设计领域，分解都是最重要和最常用的原则。分解分为两种类型：整体 ，部分的分解，把个系统划分为一组无功能重叠的子组件，这个分解 可以循环执行，构成功能组件的层次结构：一般特殊的分解，组件中 有可能存在着重叠的功能性。一些常片j 的分解技术有： 标识功能组件： 这个方法把系统作为某个环节或上卜- 文的一个单独组件，可以 用接口、作用域和方案域、功能抽象层等方法来埘其进行标识。 组合，聚集： 这个方法就是将各组件组合成一个更大的整体，隐藏低层组件。 它可以产生新的行为，这些行为不足单个组件水身固白的。 组件通信； 当一个组件被划分为多个组件时，它们之间必然需要通信。通 信包括异步通信和同步通信。当我们为了提高系统的性能和可 靠性时，通常使用异步通信去掉两个组件在处理方法方面的耦 合，使它们成为并发的。 2 复制： 第6 蟊 导论 复制也称冗余，是为了增强可靠性和性能而对一个组件进行复制的操 作。一个好的冗余和备份的设计方法是使组件切换对使用它的其他组件 透明。冗余与自监控系统有关，这利t 系统能够检测某个组件的故障，并 能够通知操作员或自己执行组件切换。 3 压缩： 压缩与组合0 ij j ，压缩与分解相反，足把各组件合并成一个单独的组件， 去除组件之i 日j 的层或接口；组合是耦合多个组件以形成一个新的系统。 在前者中，多个原始组件刁i 存在了，而在后者中，每个组件仍然作为了 组件存在。压缩是通过消除间接层来提高性能。 4 抽象： 抽象足通过引入服务的一个语义丰富的层次，隐藏实现细节来隐藏信 息。抽象使一个系统更适合于最终用户的业务过程，同时可以提高系统 的适应性和可移植性。 5 资源共享： 资源共享封装数据或服务，以便在多个独立的客户机组件之间戈享它 们。其增强了完整性、可移植性和可修改忤。 第三节本文研究范围及内容组织 13 ，1 本文研究范围 人机交互设计的研究已经不是一个新的课题，在这个领域，有r 较成熟的 研究方法和模型。但是，这个领域的研究主要是在通用软件领域，面且其侧重 点多为人机交互的界面设计。 o c r 系统作为种特殊的机器智能软件，具有机器智能系统软件的各种特 点，并且有着极为复杂的人机交互操作。其和通用领域的软件系统有着很大的 不同，在通用软件领域提出的人机交互设计的各种模型，对o c r 系统来说 有很多不适用之处。o c r 系统的人机交鱼设计，主要是人机交h 机制的设计 如何提出适用的人机交互设计模型，来指导其领域应用软件的开发，就是本文 研究的目标。 良好的人机交互机制设计，要求具有良好的体系结构框架，因此适用于 第7 页 导论 o c r 系统的人机交互模型的提出，足运用体系结构设计的各种方法，对现有成 熟的o c r 应用系统进行提炼和抽象的过程，从而保证了撮终提出的模型具有 合理的系统架构。 1 3 2 本文内容组织 在本文的第二章，介绍了通用软件领域的人机交互模型，并对其进彳jr 分 析，指出其在机器智能领域的不适用之处，从而提出了o c r 系统人机交互的 组件功能模型和设计模型。 在第三章，基于我们提出来的o c r 系统人机交互组件功能模型和设计模 型，构建了数学公式编辑器应用系统。其各个模块遵循了组件功能模型的模块 划分，其整体架构遵循了设计模型，其各个模块的内部设计实现了箨功能模块 的没计目标和结构要求。数学公式编辑器应用系统实现的中的设计思想和方法， 是对o c r 系统人机交互模型的细化和应用。 在第四章，采用实际的数学公式图像样张的结构分析结果作为公式编辑器 系统的输入，对其数据描述机制、i o 机制、用户操作机制、界而展示机制进 行试验，试验结果证明了本义方法的有效性。 在第五章，对本文提出的o c r 系统人机交互模型的应用进行了展单，同时 对本文中设计实现的数学公式编辑器系统的应用进行了展望。 在参考文献中，列出了本文研究内容中参照或引用的困内外书籍与论文。 所有参考文献按照和本文相关程度进行排序。 在附录中，是在数学公式编辑器应用系统中，设计的各种类型表达式的标 准结构。 第8 负 o c r 系统的人机交互模型 第二章o c r 系统的人机交互模型 在通用软件领域，已经有了较成熟的人机交互模型，但是，由于机器智能 领域的应用软什和通用领域应用软件有着很多的不同，使得这些较成熟的模型 没有办法直接应f j 于o c r 系统应片j 软件巾。 这一章，我们将简要介纠一个目前较成熟的人机交互模型，然后在此基础 上，根据机器智能领域系统软件的特点，提出o c r 系统的人机交互模型。 第一节通用软件系统的人机交互模型 21 1 通用软件系统的组件功能模型 通用软件系统的组件功能模型南b u h r e r 提出1 1j ，其定义的软件设计公 理为： 软件必须从一个或多个外部( 硬件) 接口获得输入数据； 软件必须将输出数据提交给一个或多个外部( 硬件) 接1 2 1 ； 软件必须在每个执行剧期上维护内部数据的使片j 和更新； 软件必须将输入数据转换为输出数据( 可使用内部数据) ； 软件必须尽可能快的完成数据转换。 同时，b u h r e r 定义了四种设计元素，满足 而的公理： 数据实体： 数据实体代表软件系统的输入数据、输m 数据和内部数据，这是一 种数据元素： i ，0 服务器： i o 服务器刳装了与软4 t 交互的外部( 硬件) 接口。i o 服务器是数 据进行传递的桥梁，它是一种连接二素； 转换服务器： 转换服务器完成输入数据到输出数据的转换，同时可能会更新内部 第9 页 o c r 系统的人机交互模型 数据。转换服务器代表一个系统的算法方叫，这就是所谓的处理元 素； 数据流服务器： 数据流服务器从i o 服务器获得输入数据，调用转换服务器( 转换 为输出数据) ，提交输出数据给i o 服务器。数据流服务器也拥有 内部数据，是一种连接元素。 2 1 2 通用软件系统的人机交互机制元模型 在人机交互领域，有一些成熟的参考模型，比如s e e h e i m 元模型和 a r c h s l i n k y 元模型，都是具有图形用户界面( g u i ) 元素的交互式软件应用体 系结构的参考模型。s e e h e i m 元模型将系统分离为二个模块：表示、对话控制 和应用。其中，表示模块包含侧汇知识( 如怎样显示各种数据控制、怎样响应 这些控制上的用户活动) ；对话摔制是语法组什，保证在正确的上下文中使用词 汇元素( 用户界面组件) ；应用模块被分离出来，是为了保证这种类型的组件只 与应用层有关。 在a r c h s l i n k y 二模型中，将应用模块和表示模块分别进一步的分解为两个 层次，应用、虚拟应用和表示、虚拟t 具包，这样，它更加强调了可移植性和 可修改性，a r c h s l i n k y 和m v c ( m o d e l v i e w c o n t r o l l e r ，模型一视图控制器) 的 结构比较如下图： 物理袭示虚拟工具包对话控制虚拟麻用核心功能 视幽 控静j 嚣 模型 一嘶模型 摸型 图2 1a r c t d s l i n k y 元模型与m v c 模型的比较 第l o 页 o c r 系统的人机交互模型 第二节o c r 系统的人机交互模型 2 | 2 1o c r 系统人机交互的目标与内容 在复杂的o c r 系统中，计算机对图像进行自动识别处理的每个步骤，都可 能引入错误，这些错误使得最后的识别或者分析结果不能达到1 0 0 的正确， 因此，必须要加入人的参与手动的修改机器的自动处理结果。机器的自动处 理保证 r 图像处理的速度，而人的参与，使得处理的准确性大大提高。 由此可见，在o c r 应用系统软件中，虽重要的也足最频繁的人机交互操作， 就是用户对机器自动处理缔果的各种修改操作。 在o c r 应用系统中，对各个阶段机器自动处理结果进行修改的操作如下： 待识别区域的定位阶段： o c r 应用系统需要给用户提供对不同属性的待识别区域进行添加、删 除和编辑操作的功能。 待识别内容的切分、识别阶段： 针对待识别内容切分阶段，o c r 应用系统需要提供给用户对不同属性 的待识别区域内容机器自动切分结果进行添加、删除和编辑操作的功 能；针对待识别内容的识别阶段，o c r 应用系统需要提供给用户对机 器自动识别结果进行手动修改的功能。 待识别文档图像的版面分析与重现： o c r 应用系统应该向用户提供直观展示待识别文档图像的功能，这种 直观展示，要符合待识剧文档图像的原始排版，因此，需要提供给用t 对机器自动分析与重现的版面结构进行修改的功能。 对于o c r 系统来说，通再软什领域的组件功能模型中的“数据流服务器” 的定义过于模糊和庞大，大量的版面重现和人机交互操作控制包含在其中，并 没有良好的功能界定；而人机交瓦机制元模型不符合m v c 的模式，因此，整 个元模型系统不具有良好的可扩展性。由此，我们可以看到，通用软件领域的 人机交互模型不适用于o c r 领域的戍用软件。 我们参考了软件体系结构设计的模型【l ”以及体系结构设计的成熟方法 2 0 1 2 ”，针对o c r 应州软件系统提出了一个新的人机交互模型，能够满足o c r 应用软件系统各方卣的要求。 o c r 系统的人机交互模型 2 2 2o c r 系统的组件功能模型 根据b u h r e r 定义的软件设计公理，我们定义了o c r 系统的4 种功能组件： 数据描述机制： 在o c r 系统中，数据描述机制是一种数据元素，这里主要指内部数据， 内部数据又包括核心数据和仝局数据。核心数据主要记录在对文档图像 进行处理的过程中产生的各种数据，其中类似版面结构、字符识别结果 等信息；而类似全局配置信息和全局变晕等信息在全局数据中进行描述 和保存。数据捕述机制是o c r 应用系统界而展示机制和用户操作机制 的基础。 i o 机制： 我们这里定义的i o 机制，包括了b u h r e r 定义的i o 服务器和转换服务 器。i o 机制，有其自己的数据元素，手要是输入数据和输出数据，输 入数据是待识别的各种图像；输出数据是各种形式的可编辑文档，比如 w o r d 、p d f 、r t f 等。它是一种连接元素，连接了输入数据和内部数 据( 输入机制) 以及内部数据和输出数据( 输出保存机制) ，完成】，输 入文件格式与内存数据格式之间的转换，以及内存数据格式与输出文件 格式之间的转换。 用户操作机制： 在l 一节中我们提到，存o c r 应用系统中最频繁的人机交互操作，就 足应用系统向用户提供的各种修改机器自动处理结果的用户操作，因 此，我们再这里，将用户操作机制当作o c r 系统的一种功能组什。这 个机制连接了底层数据描述机制和上层的界面展示机制，是一利l 连接元 素。 界面展示机制： 这个功能组件是数据描述机制的直观表现形式。在通用软件系统中界 衙展示只要体现友好性，实现“用户体验目标”即l l ，但是，在o c r 应用系统中，由于系统输入的待识别图像都是具有复杂版面结构的文梢 图像，因此，界而展示机制必须要能够还原这种复杂的版面结构，并目 直观的显示给用户。因此，我们将界面展示机制也作为o c r 系统的一 第1 2 负 o c r 系统的人机交互模犁 个功能组件。 2 2 3o c r 系统的人机交互机制模型 存设计o c r 系统的组件功能模型时，将数据的输入输出和数据之间的转 换合成一个功能组件，同时，加入了对界面展示和用户操作进行控制的两个功 能组件。这样的组件功能模型设计，使得o c r 系统的人机交互模型能够符合 m v c 设计模型，并且着重强调了中问控制层的鲁棒性和扩展性。 我们对a r c h s l i n k y 元模型的进行了改进，综合了设计模式应用的方法”j 【”j ， 提出了o c r 系统人机交互机制的模型，这个模型的特点如下： 1 采用了通用应用软件系统的m v c 模式： 按照m v c 模型的三个层次，埘o c r 系统的四个功能组件进行_ 广明确 的划分，其中i o 机制、界面展示机制和用户操作机制的摔制部分组成 了m v c 模型的中间控制层。 2 将a r c h s l i n k y 元模型中的虚拟工具包和虚拟应用划入中间控制层： o c r 系统人机交。一：模型，进一步弱化了底层数据描述、上层界i h i 展示 和上层界面操作的功能，将a r c h s l i n k y 元模型中对后两个层次的控制部 分，全部放入中间控制层，提高了整体软件系统的i , j - 移植性。 3 模块化的中间控制层： o c r 系统人机交互模犁的中间控制层，不再简单的是对话控制，它是 底层数据描述和上层界面展示的桥梁。模块化的中间控制层设计，使得 中j 1 = i j 控制层具有良好的可修改。同时，在中间控制层的每一个模块设计 中，也要遵循m v c 的模式，使得整个中间控制层具有良好的可扩充性。 o c r 系统人机交互机制模型、a r c h s l i n k y 元模型和m v c 模式的比较如下 图： o c r 系统的人机交互模犁 渤i t 嗵e 滋懿 溪巍。i 模式一：一叭帅蛳艇掣口舞震篓萎 图2 2o c r 系统软什人机交互机制模型 第三节小结 针对机器智能系统应用软件的几个特点，我们在原有通用软件人机交h ：模 型的基础上，提出了o c r 系统的人机交互模型。 由于我们的o c r 系统人机交互模型遵循了m v c 模式，因此使得整个模型 体规了在机 智能领域人机交互没计的重点： 1 底层数据的一致性： 第1 4 页 o c r 系统的人机交互模型 在整个o c r 系统中，对数据的描述全部在核心数据描述部分，保证j ， 数据的集中性；而且，食局数据描述保证了底层数据的一致性。 2 控制机制的鲁棒性： 中间的控制层，划分了清晰的模块，并且刘底层数据描述机制和上层的 界面展示机制，都留出清晰简单的接口，这就保证了中间控制机制的可 修改性、可扩充性和可移植性。 3 界面展示的便捷性： 因为有了良好的巾间控制层，界面展示部分不但可以提供给用户友好性 的界面，还可以提供给用户方便快捷的操作方式。 第15 页 数学公式编辑器系统的设计和实现 第三章数学公式编辑器系统的设计和实现 第一节数学公式编辑器系统的设计 3 ，1 1 项目环境简介 在对公式图像处理进行研究的基础上构造的实际应用系统e x p r e s s i o n r e a d e r ( 以下简称e r ) 佟，可以处理包含数学公式图像的文档，实现公式图像 的定位、识别、分析、输出的全过程，与以前的实验室系统和现有商用d i p 系 统相比，该系统针对实际情况进行处理，系统功能是为全面，性能虽佳，并且 提供r 良好的用户界而和强大的界面功能。 e r 的应用方式主要有以f 几个特点： 1 多种应用方式相结合： e r 提供了全自动、人机交互半自动基- 模板文件处理这三种应用方 式。 2 多种处理方式相结合： e r 支持整页公式全部处理和单个公式独立处理两种处理步骤，用户可 以通过菜单的选项来选择是对蕈个公式独立处理还是对整页文梢图像 包含的公式全部处理。 3 各种辅助功能： e r 的u i 采用了多视窗的没计，除了丰要的图像显示视窗之外，用户 还可以根据自己的需要显示缩略图导航视窗( n a v i g a t o rv i e w ) 和分析 检验视窗( p r o o f e rv i e w ) 。 4 强大的p r o o f e r 功能： 在进行数学公式图像处理的每一步，系统都提供了p r o o f e r 的功能，在 保证了数学公式图像处理的速度的基础上，增加了处理结果的准确性， 即用机器完成8 0 的计算上作，用人完成2 0 的检查、校验、修改工 作，体现了入机结合的优点。 在目前的e r 系统中，针对数学公式结构直观旺示和结构化修改的用户操 第1 6 页 数学公式编辑器系统的设计和实现 作部分的p r o o f e r 功能还彳；完善。由于数学公式是二维结构，因此，能够直观的 重现数学公式的公式结构，并且在此基础上支持对其结构进行修改的用户操作， 是提高数学公式识别系统应用水平的关键。 3 12 数公式编辑器系统的设计 目前的e r 系统对公式的定位、切分、识别和结构分析的功能在不断完善 中，因此，目前无法得到个相对稳定的对公式版面分析结果进行描述的数据 结构。但是，e r 系统对公式版面进行分析后输出的i a t e x 文梢却是相对稳定 的因此我们将对数学公式进行结构化展示和修改的p r o o f e r 从e r 系统中独 立出来，成为独立的数学公式编辑器系统，并将l a t e x 文档作为输入文件。 公式编辑器的工作流程如卜图： 数学公式编辑器系统，应用了o c r 系统人机交互模型，采用了面向对象软 件设计的各种方法和思想8 1 1 1 3 i 1 4 1 以及软件项目开发的 下面的几个小节将从数据描述机制的实现、f o 机制的实现、用户操作机制 的实现和界面展示机制的实现几个方面分别阐述数学公式编辑器系统的实现。 其中每一个模块，其实现都体现了良好的软件架构设计原则日】【7 】。 第二节数据描述机制的实现 32 1 核心数据描述机制 3 2 ll 表达式的分类 数学公式，就是各种公式符号在二维空间的一种位置安排，正是这些公式 符g - 以及它们之间的位置关系，记录了整个公式的结构信息和语义信息。在现 第1 7 蛊 数学公式编辑器系统的设计和实现 有的e r 系统中，“根据人书写、阅读公式的习惯，并参考l a t e x 语言描述数 学公式的方法，我们定义了1 2 种表达式类型，见f 表： 表3 1 表达式分类及其名称 表达式名称示例 普通表达式o = 2 a + 3 y 多行表达式 ( z + 可) ( z y ) = z 2 一z y + x y y 2 = z 2 一y 2 x l z 2可1 一2：l 一：2 矩阵表达式 z 】 7 7 1 1 , 1确 f 2m 2 住2 角标表达式。y 2 堆叠表达式 a 三b - 8 - - - 4c s l nz 标准函数名表达式l nz + 一位 定界表达式 y = c f v 7 ，矽( 茹) + 夕( z ) ) 盯 ，6 组表达式 2 噬7 ( z ) 驮( 。) d x i = l j n ，r 。p ， 帽子表达式 1 一z = - y 根。j ：表达式 一g + 佰面 数学公式编辑器系统的设汁和实现 三上上 茹一暑， 茁+ 封 分式表达式 l + 糍 3 2 i2 数据描述机制的设计目标 在对数学公式数据描述结构进行设计时，我们必须要考虑到这个数据描述 结构是糁个公式编辑器最底层、最核心的结构，影响到整个公式编辑器设计的 方方面面，所有以后的各种设计，都要以这个数据描述结构作为基础。凶此， 选择适当的数据描述结构，是公式编辑器设计的最核心的问题。 数学公式数据描述结构! 必须要支持以卜儿个特性： 1 保持数学公式的物理结构： 数学公式和普通文本行相比，其最重要的物理特征就是其符号间的位置 关系是二维关系。因此，数学公式数据描述结构必须能够支持这种维 关系。 2 支持可视化显示和用户操作： 数学公式编辑器是一个需要大量人机交互的系统，因此，我们必须要提 供给用户良好的可视化界面和方便的用户操作，以满足系统设计的“用 户体验性目标”。因此，数学公式数据描述结构必须能够支持这些人机 交互设计的需要。 3 我们应该一致的对待单个元素和元素的组合： 从人机交互设计角度来看，一致的对待单个元素( 数学公式基本符号) 和元素的组合( 各种类型的表达式) ，可以向用户屏蔽复杂的底层公式 数据结构，是方便片j 户使用，实现“用户体验目标”的前提；从数据描 述的角度来看，一致的对待单个符号和表达式，使得这个描述结构可以 适用于不i 刊复杂程度的公式描述。 为j ，使得数学公式数据结构捕述能够满足以上的三个特性，我们选择了树 型结构来对对公式编辑器的底层数据结构进行描述。下面的两节，将就树剐结 构巾每一个结点的结构，以及整体树型结构的选择进行详细说明。 32 l - 3 类接口最大化设计 为了能够一致的对待数学公式基本符号和由它们组成的表达式，我们为每 一种类型的表达式定义1 r 标准的结构表达形式，这种对表达式结构的定义足递 第1 9 贝 数学公式编辑器系统的设计和实现 归的。即，单个的公式符号按照其位置关系相瓦组合，口j 以组成较简单的表达 式，同时，表达式和表达式以及表达式和单个公式符号又可以根据位置关系相 互组合，形成更为复杂的表达式，最终形成数学公式。 这种通过递归组合实现的层次化的结构，就要求我们建市的底层数据结构 和操纵机制的集合应该能够满足以下要求： 1 用户界面应该可以让用户直接操纵表达式以及其子结构： 一个用户应该能够将一种类型的表达式当成一个单元进钆整体引用，而 不是非结构化的一堆公式符号，这有助j ：界面简单和直观： 2 应该一致的对待各种不同类型的表达式： 应用界面应该支持各种表达式的嵌套，避免把某种类型的表达式看成另 一种类型表达式的特殊情况。 3 不应过分强调表达式和单独公式符号之间的差别： 而应该一敏的刘待表达式和单独的公式符号，就允许任意复杂的公式。 因此，我们为出现在数学公式结构中的所有对象定义一个抽象结点，其他 的单个公式符号子类和表达式子类都是从它派生而来，这样它既可以代表单独 公式符号，也可以