（信号与信息处理专业论文）嵌入式工业控制系统中的人机交互系统的研究与开发.pdf

武汉理工大学硕十学位论文 摘要 人机交互( h u m a nm a c h i n ei n t e r a c t i o n ) 指的是人与计算机之间的交互方式，以 及计算机显示信息的布局，它是用户与计算机交互的媒介。人机交互技术对于 软件系统越来越重要，它已成为现代软件研究的重要课题。图形用户界面( g u i ， g r a p h i c a lu s e ri n t e r f a c e ) ，作为人机交互技术的重要内容，以丰富的图形图像信 息、直观的表达方式与用户交互。使用g u i 系统作为人机界面的软件系统简洁、 美观、方便好用，也更加人性化，目前已经大量应用在嵌入式工业控制领域。 由于l i n u x 系统的飞速发展和其开放源代码的原则，使其成为了嵌入式领域 开发系统中主要使用的操作系统，在工业控制领域使用也非常广泛。虽然目前 国内外已经针对嵌入式设备及嵌入式l i n u x 系统设计了华丽界面支持的g u i 平 台，但由于工业控制领域对实时性的特殊要求且需要一些特殊功能，使这些g u i 平台在速度和功能上不能满足工业控制领域的需求。 随着硬件技术的发展，嵌入式环境中可用的资源已经非常丰富，这就要求所 使用的g u i 系统更加的高效和可靠。针对工业控制领域中对嵌入式g u i 的特殊 性能要求，本课题需要开发一种能够适合电脑绣花机等缝制设备智能控制系统 的图形用户界面，以满足其上层软件的高效、快速开发。 论文首先在深入分析了多种主流嵌入式g u i 系统体系结构和实现原理的基 础上，提出了一种支持多线程的嵌入式g u i 系统( x i u g u i ) 的体系结构和设计原 理。然后，对系统核心层中的图形模块、对象模块、事件模块和其他模块的设 计思想和实现原理进行了详细描述，并创建了独立的图形函数库，简化了设备 上下文结构，提出了窗口页面事件响应算法，并最终设计实现了x i u g u i 原型。 接着，为了使上层软件的开发工作更加高效、快速，定义了基于x i u g u i 系统的 软件开发模式。最后，展示了本文研究项目的实际成果。结果表明，x i u g u i 系 统能够很好的支持多线程，且具有良好的灵活性、可移植性和可伸缩性。 关键词：人机交互，图形用户界面，嵌入式系统，图形设备接口 武汉理t 大学硕十学位论文 a bs t r a c t h u m a nm a c h i n ei n t e r a c t i o n ( h m i ) m e a n si n t e r a c t i v em o d eo fm a n m a c h i n e ，a n d t h el a y o u to fc o m p u t e ri n f o r m a t i o n d i s p l a y i n g i t i st h em e d i u mo fi n f o r m a t i o n e x c h a n g eb ym a n - m a c h i n e i tb e c o m e sm o r ea n dm o r ei m p o r t a n ti nc o m p u t e rs y s t e m t h a ne v e rb e f o r e i th a sb e e nt h em a i nt a s ko fs o f t w a r es t u d y i n gi nm o d e mt i m e s g r a p h i c a lu s e ri n t e r f a c e ( g u i ) a sa ni m p o r t a n tb r a n c ho ft h eh m i ，e x c h a n g e s i n f o r m a t i o nw i t hu s e r si ng r a p h i c a la n di n t u i t i o n i s t i c w a y s g u im a k e ss o f t w a r e c o n v e n i e n ta n dh u m a n i s t i c ，a n dh a sb e e na p p l i e di ne m b e d d e df i e l d so fi n d u s t r i a l c o n t r o lp r e v a l e n t l y a m o n go t h e r s ，l i n u x ，a sar e s u l to fi t sf a s td e v e l o p m e n ta n di t so p e ns o u r c e p r i n c i p l e ，i sn o wt h em o s tp o p u l a ro si nt h ef i e l do fe m b e d d e ds y s t e ma n di nt h e f i e l do fi n d u s t r i a lc o n t r o l 。b e s i d e s ，t h eg u i a p p l i e di nt h ee m b e d d e ds y s t e mi sa l s o m o r ea n dm o r ew i d e l y d e s p i t et h ef a c t t h a tt h e r eh a v ea l r e a d yb e e nag r e a tm a n y g u is y s t e m ss p e c i f i c a l l yd e s i g n e df o rl i n u xa n do t h e re m b e d d e ds y s t e m si nt h e w o r l d ，t h e s eg u is y s t e m ss t i l lc a n n o ts a t i s f yt h en e e do ft h ef i e l do fi n d u s t r i a lc o n t r o l b o t hi nt h ea s p e c to fs p e e da n d f u n c t i o n ，g i v i n gt h es p e c i a lr e q u i r e m e n t so fr e a lt i m e a n da l s os o m ep a r t i c u l a rf u n c t i o n sb yt h ef i e l do fi n d u s t r i a lc o n t r 0 1 w i t ht h ed e v e l o p m e n to fh a r d w a r e ，r e s o u r c e sw h i c ha r ea v a i l a b l ei ne m b e d d e d f i e l d sh a v eb e e na b u n d a n t ，i ta l s or e q u i r e se m b e d d e dg u i st ob ee f f i c i e n ta n d r e l i a b l e i ti sn e c e s s a r yt ob u i l dag u i s y s t e mw h i c hn o to n l ys a t i s f i e st h er e q u i r e m e n t so fr e a l t i m ea n df u n c t i o n sb yt h ef i e l do fi n d u s t r i a lc o n t r o la n dg u ir e s p e c t i v e l yb u ta l s o s u i t a b l ef o rt h ei n t e l l e c tc o n t r o l s y s t e mo fs t i t c he q u i p m e n tl i k ea sc o m p u t e r e m b r o i d e r i nt h ed i s s e r t a t i o n ，f i r s t l y , o nt h eb a s i so fa n a l y z i n gav a r i e t yo fm a i n s t r e a m e m b e d d e dg u is y s t e m sa r c h i t e c t u r e sa n di m p l e m e n t a t i o np r i n c i p l e s ，t h ea r c h i t e c t u r e a n dad e s i g np r i n c i p l eo fm u l t i t h r e a de m b e d d e dg u i s y s t e m ( x i u g u i ) a r ep r o p o s e d s e c o n d l y , t h ek e r n e lm o d u l eo ft h es t r u c t u r ei sa n a l y z e di n d e p t ha n dt h es y s t e m d e s i g ns c h e m eo ft h ex i u g u ih o l i s t i cm o d u l ei sp u tf o r w a r da n di n t r o d u c i n gt h e i i 武汉理一r ：人学硕士学位论文 g r a p h i c s m o d u l e ，o b j e c t - m o d u l ea n de v e n t m o d u l e t h e r ea m o n g ，s y s t e mc r e a t e a a b s o l u t eg r a p h i c sf u n c t i o nl i b r a r y , s i m p l i f yt h es t r u c t u r eo fd ca n dp r o p o s ea a l g o r i t h mo fp a g e e v e n tr e s p o n s e a n dt h e n ，ad e f i n i t i o nb a s e do nx i u g u is y s t e mi s b u i l t i no r d e rt om a k eu p p e rl e v e l sp r o g r a me f f i c i e n t a n df a s t f i n a l l y , t h e a c h i e v e m e n t so fs y s t e mi sd i s p l a y e da n dt h es y s t e mt e s t i n gr e s u l t sa r ea n a l y z e d t h e r e s u l t ss h o w e dt h a tt h ex i u g u li sg o o da ts u p p o r t i n gm u l t i t h r e a da n dh a sg o o d f l e x i b i l i t y , p o r t a b i l i t ya n ds c a l a b i l i t y k e y w o r d ：h m i ，g u i ，e m b e d d e ds y s t e m ，g d i i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 7 、9 签名： 剑墨日期：丕! & ! j ! ，! 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：嗣鼎导师签名：巩f 6 厶日期：弘岖严俘 武汉理t 大学硕十学位论文 1 1 课题背景 第1 章引言 随着计算机网络、电子技术的迅猛发展，计算机迈入了一个新的阶段后 p c 时代，嵌入式系统成为人们接触越来越多的一个概念【l j 。在日常生活中，嵌 入式设备无处不在，像手机、p d a 、机顶盒、车载g p s 系统、网络冰箱、工业 智能控制设备等都是嵌入式产品。形式多样的嵌入式数字化产品已经开始继p c 机之后成为信息处理的一大主要工具，并逐步形成一个巨大的产业1 2 j 。 人机交互技术【3 i ( h m i ，h u m a nm a c h i n ei n t e r a c t i o n ) 是研究人、计算机、环境 和它们之间相互关系的技术。它们之间通过信息交换进行交互，这种交互是双 向的，可由人向计算机输入信息，也可由计算机向人反馈信息。计算机发展的 初期，计算机主要用于科学计算等任务，当时用户不关心界面方面的细节。随 着计算机的发展和普及，人们对人机交互的要求越来越高，交互的信息内容从 简单的字符信息向图形图像、声音、视频等多媒体信息发展；交互的方式也变 得多种多样。研究表明，人机交互的内容、形式将影响最终用户使用计算机和 计算机技术的推广，甚至影响人们的工作和生活。 图形用户界面( g u i ，g r a p h i c a lu s e ri n t e r f a c e ) 作为人机交互技术的重要内容， 以丰富的图形图像信息、直观的表达方式与用户交互。这样的软件系统简洁、 美观、方便好用，更加人性化，己经被越来越多的领域所采用。从上世纪六十 年代起，人们开始对g u i 技术进行研究，取得了重大突破，在x e r o x 的p a r c 项目上得到了巨大的发展。七十年代开始，g u i 技术在桌面p c 系统上得到大量 应用，成功推出了著名的m a c i n t o s h ，xw i n d o w 和w i n d o w s 等系统，g u i 技术 逐渐成熟i 。 相对于桌面系统，人机交互技术在嵌入式系统中的研究还处于初级阶段【引。 嵌入式系统和终端产品是大众化的，对系统简洁、美观、方便好用，人性化设 计等的要求更高，g u i 技术是一种人与计算机接口的技术，该技术除了使用字 符外，主要使用图形、图标、图像和控件等界面与用户进行交互。计算机用户 通过使用输入设备( 如鼠标、键盘、触摸屏等) 操作和使用图像、图标和图形 武汉理t 大学硕士学位论文 控件等与计算机进行交互，计算机将结果显示在输出设备上供用户观察结果。 图形用户界面是在命令行、文本显示方式上，人机交互接口的一次巨大飞跃。 嵌入式g u i 不仅具有相当好的应用前景，同时对于计算机图形学、操作系 统、面向对象软件理论、数字图像和数字视频、汉字信息处理技术等多门计算 机分支科学有着相当的理论价值，因此嵌入式g u i 成为本课题的来源。 1 2 国内外研究现状 1 2 1 图形用户界面的发展历程 窗口系统( w i n d o w s ) 最早出现在名为s a g e 的实时图象显示系统中1 3 1 。上世 纪6 0 年代，人们在研究s r l 人工智能系统时，第一次使用鼠标操作窗口系统。 7 0 年代早期，x e r o x 的p a r c 团队在移植s r i 时，将g u i 定义为w i m p 标准， 即w i n d o w s 、i c o n s 、m e n u s 和p o i n t e r s p u l l d o w nm e n u s ，基本上形成了现代g u l 系统的雏形。随后g u i 被广泛应用，得到了大力发展，第一个商业化的g u i 系 统m a c i n t o s h ，以及随后的w i n d o w s 系统，极大的推动了计算机的推广和普及【3 1 。 图形用户界面系统在嵌入式系统上的发展，与在桌面系统的发展类似，基本 上是一个从无到有、从字符界面到使用图形图像交互的过程。早期的工控系统 基本没有用户界面，或者仅仅靠简单的文字信息和l e d 显示与用户进行交- 耳1 4 l 。 随着嵌入式技术的发展，近年来消费电子、通信、汽车、工业和军事等领域广 泛采用嵌入式系统。在信息家电、p d a 、s m a r tp h o n e 等众多受欢迎的终端产品 中，己经可以看到相对成熟的g u i 系统。完善的图形用户界面( g u i ) 不仅可以表 示丰富的内容，而且具有多种表达方式，己经成为现代终端系统和嵌入式系统 的重要组成部分，也是当今主流的人机界面。 1 2 2 嵌入式g u i 系统的研究现状 随着嵌入式技术的发展，嵌入式软、硬件系统均取得了较大的进步。嵌入式 硬件平台、操作系统、开发工具、以及应用开发组件等很多方面都取得了较大 突破，嵌入式g u i 系统也得到了发展，涌现出了一大批嵌入式g u i 系统或者组 件。目前终端系统己经开始广泛采用3 2 位处理器芯片，配置触摸屏、键盘等多 种输入设备和l c d 等图象显示设备，这为g u i 在嵌入式系统上应用提供了基础 硬件平台1 5 j 。 2 武汉理r 丁大学硕十学位论文 近来的市场需求显示，越来越多的嵌入式系统，包括移动终端设备、数字机 顶盒、汽车电子控制系统等均要求有一个高性能、高可靠的g u i 系统的支持。 另外一个迫切需要轻量级g u i 系统的是工业实时控制系统【6 】。工控系统一般建 立在标准p c 硬件平台上，硬件条件相对一般嵌入式系统要好，但对系统整体的 实时性、稳定性和安全性等要求非常高，对g u i 系统的功能需求也较高，例如 需要复杂的多窗口管理、多g u i 应用任务支持、更强大的图形图像功能等。因 此这些系统一般不希望建立在庞大累赘的、非常消耗系统资源的操作系统和g u i 之上，比如w i n d o w s 或xw i n d o w 。以前许多这类系统都建立在d o s 等系统上， 并且采用比较简单的手法实现g u i 。但是，在出现众多强大的r t o s ( 实时操作 系统) 之后，许多工业控制系统开始采用这些r t o s 作为软件平台，如v x w o r k s ， r t - l i n u x ，d e l t a o s 等，由于其面向的硬件平台仍然变化较大，往往会根据应用 进行定制。因此g u i 仍然是一个问题，关键是需要一个能够提供统一界面的、 灵活的、高性能和可移植的g u i 系统。因此这些系统对轻型g u i 系统的需求更 加突出。 同时，嵌入式系统往往是一种定制设备【6 j ，它们对g u i 的需求也各不相同。 有的系统只要求一些简单的图形功能，而有些系统则要求完备的g u l 支持。因 此，g u i 自身也必须是可定制的。 综上所述，g u i 在嵌入式系统或者实时系统中的地位将越来越重要。嵌入式 系统对图形用户界面系统的基本要求包括1 6 j ： 轻型、占用资源少； 高性能； 高可靠； 可配置； 可移植。 鉴于嵌入式系统本身的特性，目前对g u i 的开发方法主要有以下几种【5 】： 1 、) 某些大型厂商有能力自己开发满足自身需要的g u i 系统。较有代表性的 如m i c r o s o f t 公司的w i n c e ，s u n 公司的p e r s o n a lj a v a 和v x w o r k s 集成的u g l 、 z a f 等。 2 ) 不将g u i 作为一个软件层从应用程序中剥离，g u i 的支持逻辑由应用程 序自己负责。 3 1 采用某些比较成熟的g u i 系统，比如m i n i g u i ，m i c r o w i n d o w s 或者其他 3 武汉理i ：大学硕士学位论文 g u i 系统。 上述三种方法将在第2 章中进行分析、比较，最终选定一个适合本次嵌入式 g u i 系统开发的设计方案。 1 2 3 嵌入式g u i 系统的发展趋势 目前，伴随着各种手持、无线及嵌入式设备的迅猛发展，相应的软硬件设计 也发生了很大的变化。许多设备都使用了a r m ，m i p s ，摩托罗拉的3 2 位微处 理器及大屏幕的液晶图形显示器。由于在过去1 0 年中，桌面操作模式取得了巨 大成功，于是许多丌发者在嵌入式设计中开始使用类似于桌面的操作系统。只 要是面向人机交互的嵌入式产品，就涉及到文字或者图形的输出问题，人们与 信息终端交互要求以g u i 系统为中心的交互式界面。手写文字输入、语音拨号 上网、收发电子邮件以及彩色图形、图像己取得初步成效。由此可见，从应用 领域的范围来看，嵌入式g u i 系统的发展空间将是无比宽广的。 随着虚拟现实、科学计算、可视化、多媒体技术以及硬件技术的飞速发展， 嵌入式g u i 将有如下几个发展方向【6 】： 更加高效、可靠、可定n j j f u d , 巧灵活，并具有很好的跨硬件平台、跨操作系 统可移植性1 7 】的嵌入式g u i 系统将是将来的一个重要方向。 支持3 d 建模。在目前的嵌入式系统中，3 d 技术的应用并不常见，这与嵌入 式系统的特点有很大的关系，然而，随着硬件技术的发展与市场的需求，目前， 一些成熟的3 d 技术已经应用到了嵌入式环境中，比如o p e n g l e s 使用了大量 的渲染技术以提供给用户调用。因此支持3 d 建模必将成为未来嵌入式g u i 发 展的一个趋势。 智能化。精确交互技术是指能用种技术来完全说明用户交互目的的交互方 式，键盘和鼠标器均需用户精确输入。而人们的动作或思想往往并不很精确， 计算机应该理解入的要求，甚至于纠正人的错误，智能化的界面也是未来嵌入 式g u i 的一个重要方向。 高宽带。支持高的输入带宽，快速大批量地输入信息以及对语音、图像、姿 势等的输入和理解也是今后的发展方向。 1 3 课题来源及本文研究内容 本课题的研究内容来自某大型企业的研发项目：电脑绣花机嵌入式g u i 系 4 武汉理下大学硕十学位论文 统分析、设计和实现。此系统是该大型企业专门针对电脑绣花机等缝制设备嵌 入式图形用户界面的解决方案。在现有版本g u i 系统基础上，通过研究嵌入式 系统应用领域，分析用户对嵌入式g u i 系统的需求和嵌入式系统自身的特点后， 设计一套支持多线程的g u i 系统。该系统具有良好的可移植性、可配置性和高 效率。 本课题研究的主要内容是： 1 ) 对当前主流的嵌入式g u i 系统进行研究。 2 、提出一种适合电脑绣花机等缝制设备的嵌入式g u i 系统的体系结构，并 简要分析设计原理。通过该方案设计和实现的原型不仅要具有良好的通用性， 还要具有高效、易用和扩展性强等特点。 3 ) 设计并实现体系结构中的各个模块。 4 ) 建立软件开发模式并开发实现某型号电脑绣花机的人机交互系统。 本文作者在该项目中担任主要负责人，参与了项目的需求分析、g u i 体系结 构、关键模块开发和软件开发模式方案的设计。本人主要完成了以下几项工作t x i u g u i 体系结构的设计。针对g u i 系统需要非常强的灵活性、可移植性和 可伸缩性的特点，在其体系结构的设计中，采用了层次化、模块化的设计思想。 系统核心模块的设计和实现。对核心机制模块中关键模块( 即图形、对象、 事件模块) 的设计思路、相关数据结构和工作原理进行了深入的研究。实现了 绘图原语、文本输出和图像文件支持等图形功能；创建了基于多线程的消息处 理机制；建立了窗口和控件的有效管理模式。 软件开发模式的实现。建立电脑绣花行业嵌入式g u i 系统应用软件的开发 模式，实现某型号电脑绣花机的人机交互系统。 1 4 论文组织结构 本文详细分析了国内外嵌入式g u i 系统的研究现状，并在此基础上提出了 一种支持多线程的单窗口型嵌入式g u i 系统体系结构和设计原理。然后对体系 结构中的核心模块进行了详细的分析，最后提出并实现了电脑绣花行业嵌入式 g u i 系统应用软件的开发模式。本论文的安排如下： 第1 章引言。对课题背景和国内外研究现状进行介绍，说明课题来源、本文 研究内容和论文的组织结构。 第2 章嵌入式g u i 系统概述。详细分析当前主流嵌入式g u i 系统的体系结 5 武汉理- f 大学硕士学位论文 构和实现原理，对它们的优缺点进行比较，并对本文g u i 系统选择的设计方案 进行了分析。 第3 章x i u g u i 的整体设计思想。提出了x i u g u i 系统的需求分析和设计目 标，详细描述了系统的体系结构和设计原理。 第4 章x i u g u i 核心模块的设计与实现。对系统核心层中的图形模块、对象 模块、事件模块和其他模块的设计思想和实现原理进行了详细描述，并创建了 独立的图形函数库，简化了设备上下文结构，提出了窗口页面事件响应算法。 此外，还简要介绍了x i u g u i 各模块的性能和可移植性分析。 第5 章基于x i u g u i 系统的开发应用。定义了基于x i u g u i 系统的软件开发 模式，并展示了本文研究项目的实际成果，包括人机交互软件界面和键盘风格。 第6 章总结与展望。总结全文，对成果和不足进行归纳，并对下一步工作进 行了展望。 6 武汉理工大学硕士学位论文 第2 章嵌入式g u i 系统概述 2 1 嵌入式系统概述 2 1 1 嵌入式系统的特征 与通用计算机不同，嵌入式系统是针对具体应用的专用系统，一般具有成本 敏感性，它的硬件和软件必须高效地设计，好的嵌入式系统是完成目标功能的 最小系统。 嵌入式系统一般要求高的可靠性，例如在高温、高压、电磁干扰严重的工业 环境就对嵌入式系统有很高的要求；嵌入式处理器的功耗、体积、处理能力在 具体应用中也有很高的要求，这在消费类电子产品方面的表现非常明显。嵌入 式处理器要针对用户的具体需求，对芯片配置进行裁减和添加，才能达到理想 的效果。 嵌入式系统软件与嵌入式应用软件也与通用计算机有所不同。一般嵌入式软 件要求高质量的代码与高可靠性。另外，许多嵌入式应用系统要求系统软件具 有实时处理能力，在多任务嵌入式系统中，对重要性各不相同的任务进行统筹 兼顾的合理调度是保证每个任务及时执行的关键。 2 1 2 选择l i n u x 构造嵌入式系统 l i n u x 从1 9 9 1 年问世到现在，短短的十几年时间已经发展成为功能强大、设 计完善的操作系统之一，不仅可以与各种传统的商业操作系统分庭抗争，在新 兴的嵌入式操作系统领域内也获得了飞速发展。 嵌入式l i n u x 的开发和研究是操作系统领域中的一个热点，目前已经开发成 功的嵌入式系统中，大约有一半使用的是l i n u x 。l i n u x 之所以能在嵌入式系统 市场上取得如此辉煌的成果，与其自身的优良特性是分不开的i 7 1 。 广泛的硬件支持。l i n u x 能够支持x 8 6 、a r m 、m i p s 、a l p h a 、p o w e r p c 等多种体系结构，目前已经成功移植到数十种硬件平台，几乎能够运行在所有 流行的c p u 上。l i n u x 有着异常丰富的驱动程序资源，支持各种主流硬件设备 和最新硬件技术，甚至可以在没有存储管理单元( m m u ) 的处理器上运行，这 7 武汉理工大学硕士学位论文 些都进一步促进了l i n u x 在嵌入式系统中的应用。 内核高效稳定。l i n u x 内核的高效和稳定已经在各个领域内得到了大量事实 的验证，l i n u x 的内核设计非常精巧，分成进程调度、内存管理、进程间通信、 虚拟文件系统和网络接口五大部分，其独特的模块机制可以根据用户的需要， 实时地将某些模块插入到内核或从内核中移走。这些特性使得l i n u x 系统内核可 以裁剪得非常小巧，很适合于嵌入式系统的需要。 开放源码，软件丰富。l i n u x 是开放源代码的自由操作系统，它为用户提供 了最大限度的自由度，由于嵌入式系统千差万别，往往需要针对具体的应用进 行修改和优化，因而获得源代码就变得至关重要了。l i n u x 的软件资源十分丰富， 每一种通用程序在l i n u x 上几乎都可以找到，并且数量还在不断增加。在l i n u x 上开发嵌入式应用软件一般不用从头做起，而是可以选择一个类似的自由软件 作为原型，在其上进行二次开发。 优秀的开发工具。开发嵌入式系统的关键是需要有一套完善的开发和调试工 具。传统的嵌入式开发调试工具是在线仿真器( i n c i r c u i te m u l a t o r ，i c e ) ，它 通过取代目标板的微处理器，给目标程序提供一个完整的仿真环境，从而使开 发者能够非常清楚地了解到程序在目标板上的工作状态，便于监视和调试程序。 在线仿真器的价格非常昂贵，而且只适合做非常底层的调试，如果使用的是嵌 入式l i n u x ，一旦软硬件能够支持f 常的串口功能时，即使不用在线仿真器也可 以很好地进行开发和调试工作，从而节省了一笔不小的开发费用。嵌入式l i n u x 为开发者提供了一套完整的工具链( t o o lc h a i n ) ，它利用g n u 的g c c 做编译器， 用g d b 、k g d b 、x g d b 做调试工具，能够很方便地实现从操作系统到应用软件各 个级别的调试。 完善的网络通信和文件管理机制。l i n u x 从诞生之日起就与i n t e r n e t 密不可 分，支持所有标准的i n t e r n e t 网络协议，并且很容易移植到嵌入式系统当中。此 外，l i n u x 还支持e x t 2 、f a t l 6 、f a t 3 2 、r o m f s 等文件系统，这些都为开发嵌入式 系统应用打下了很好的基础。 2 2 图形用户界面概述 2 2 1 图形用户界面的技术背景 计算机用户界面是指计算机与其使用者之间的对话接口，是计算机系统的重 8 武汉理i ：人学硕士学位论文 要组成部分。计算机的发展史不仅是计算机本身处理速度和存储容量飞速提高 的历史，而且是用户界面不断改进的历史。早期的计算机是通过面板上的指示 灯来显示二进制数据和指令，人们则通过面板上的开关及穿孔纸带送入各种数 据和命令。5 0 年代中、后期，由于采用了作业控制语言及控制台打字机等，使 计算机可以批处理多个计算机任务，从而代替了原来笨拙的手工按键方式，提 高了计算机的使用效率。 在7 0 年代，x e r o x 的p a l oa l t o 研究中心似r c ) 开始进行有关图形用户界面的 研究工作，8 0 年代初，x e r o x 公司a l t o 计算机首先使用的s m a l l t a l k 一8 0 程序设计 开发环境，在此基础上，8 0 年代中期苹果公司的m a c 操作系统首先实现了窗口 式工作环境，将用户界面推向图形用户界面g u i ( g r a p h i c su s e ri n t e r f a c e ) 的新阶 段。随后，微软公司和各大u n 厂商也纷纷在其操作系统中采用了该接口环 境技术【8 】。由于窗口环境技术具有方便、易用等特点，现在己经成为广大计算机 用户所普遍接受的操作环境。用户界面管理系统和智能界面的研究均推动了用 户界面的发展，用户界面已经从过去的人去适应笨拙的计算机，发展到今天的 计算机不断地适应人的需求。 图形用户界面的重要性在于它极大地影响了最终用户的使用，影响了计算机 的推广应用，甚至影响了人们的工作和生活。窗口系统经过几十年的发展己经 被用户所广泛接受，最典型的是p c 机上w i n d o w s 系统的图形用户界面。不仅 桌面计算机系统广泛采用图形用户界面，而且一些嵌入式操作系统也提供了简 洁高效的图形用户界面。 近年来随着嵌入式操作系统的发展，出现了大量的基于嵌入式操作系统的图 形用户界面，如l i n u x 下的m i n i g u i 、基于小型嵌入式系统的单窗口g u i 等等。 是否能提供友好、高效的窗口运行环境己经成为评价操作系统的一个重要指标。 如果一个新开发的操作系统未能提供图形用户界面，那么它的完整性是值得怀 疑的。 当前，i n t e r n e t 的发展异常迅猛，虚拟现实、科学计算可视化及多媒体技术 等对用户界面提出了更高的要求。由于开发图形用户界面的硬件平台各有千秋， 加上不同用户对界面的要求也不尽相同，因此，图形用户界面已成为计算机软 件研制中最重要的部分之一。 2 2 2 图形用户界面的基本特征 9 武汉理i ：人学硕士学位论文 图形用户界面使非专业用户操作一些嵌入式设备时非常方便，用户不必死记 硬背大量的命令，可以通过窗口和菜单，很直观方便的操作。主要是因为具有 以下几点特征： 1 ) 直接操作。图形用户界面采用的是位映像图形显示技术，用户对应用程序 的控制主要是通过操纵显示在屏幕上的图形对象来完成的，这些图形对象( 如窗 口、菜单、按钮等) 都是软件控制下的位映射图形实现。 2 ) 用户控制。应用程序的运行不再由编程时安排好的过程来驱动，而是由 用户通过图形用户界面引入的输入设备末移动光标，实现对应用程序的直接操 纵，这是一种消息一事件驱动方式，它体现了人在控制程序运行中的重要地位。 3 1 界面定制。图形用户界面一方面提供了可视的( 如窗口、按钮等) 和不 可视的( 如屏幕、颜色、字体等) 界面对象等。 4 1 信息反馈。图形用户界面的帮助机制能为用户操作界面提供导航，而它 的保护机制又为系统的可靠运行提供容错排错，这两者都有大量的信息反馈。 5 、) 界面一致。图形用户界面系统作为一个完整的运行环境，应该提供一个 不依赖于具体问题的界面设计标准，使得在该环境下运行的各种应用程序的界 面风格及与用户交互的方式都具有良好的一致性。 6 l 开发工具。开发工具是图形用户界面系统的一个重要组成部分，是用户 在图形用户界面环境下丌发应用程序的重要手段。 2 2 3 图形用户界面的结构模型 图形用户界面系统通常由三个基本层次组成：显示模型、窗口模型和用户模 型。与该系统相关的还有相应硬件平台、这三个模型的应用程序接口 a p i ( a p p l i c a t i o np r o g r a mi n t e r f a c e ) 幂l 操作系统。图形用户界面系统结构模型见图 2 1 。 操作系统之上的是显示模型，它决定了图形在屏幕上的基本显示方式，即用 位映射图形显示各种图形对象的方式。不同的图形用户界面系统所采用的显示 模型各不相同。例如大多数在u n i x 之上运行的图形用户界面系统都采用x 窗 口作显示模型；m sw i n d o w s 则采用m i c r o s o f t 公司自己设计的图形设备接口( g d i ) 作显示模型。显示模型之上的是窗口模型，它确定了窗口如何在屏幕上显示和 窗口的层次关系，例如菜单、对话框等。它通常包括两部分：一是编程工具， 如函数集；二是对如何移动、输出和读取屏幕显示信息的说明。 1 0 武汉理t 大学硕十学位论文 桌面管理系统 用户模型 窗口模型 应用程序接口a p i 显示模型 操作系统 硬件平台 图2 - 1 图形用户界面系统结构模型 窗口模型之上的是用户模型，它主要包含了显示和交互特征，由此图形用户 界面这一术语有时也仅指用户模型。另外，用户模型也定义为图形用户界面的 外观与视觉。它主要包括两部分：一是构造用户界面的工具，如工具箱和框架 集，包括对高层界面构件对象的数据结构的定义和说明；二是定义在屏幕上组 织各种图形对象以及这些对象之间的行为规范和协议，即每个图形用户界面用 户模型都应当说明它支持什么样的窗口和什么样的显示方式，因为定义规范和 建立工具集都必须针对具体的显示模型和窗口模型。 最上层的是桌面管理系统，它是人机交互的图形化管理系统，能使人机交互 更加简便灵活。它通常包括以下几个组成部分：图形化的文件管理系统、供用 户使用的图标库、桌面管理机构、图标库管理机构等。 2 2 4 图形用户界面的发展趋势 随着虚拟现实、科学计算可视化及多媒体技术的飞速发展，新的人机交互技 术不断出现，更加自然的交互方式将逐渐为人们所重视。要求新一代界面的主 要特征可描述如下1 9 j ： 以用户为中心。以用户对界面的需求变化为出发点，使用户界面的外在形式 和内部机制能符合不同用户的需要，这就是以用户为中心的设计思想。非特定 的个人的连续语音识别技术将使计算机能理解人们的要求，这是一种重要的输 入界面和手段。鱼h 艮( f i s h e y e ) 技术使屏幕光标位置附近的内容被放大，便于用户 武汉理工大学硕士学位论文 观察。在传统的人机系统中，人被认为是操作者，人去适应机器；在一般的人 机系统中，人被称为用户，能与机器对话，但没有主动控制能力；而在虚拟现 实系统中，人才是主动的参与者，机器将对人的各种动作做出反应。 多通道。多通道界面目的是在充分利用一个以上的感觉和运动通道的互补特 性来捕捉用户的意向，从而增进人机交互中的自然性。人的感觉通道有视觉、 听觉、触觉、嗅觉和平衡等；人的运动通道有手、嘴、眼、头、以及身体等。 现在，计算机操作时，人的眼和手十分累，效率也不高。若将听说和手眼等协 同动作，采用多通道、以自然方式交互，可以实现高效人机通信，也可以由人 或机器选择最佳反应通道，从而不会使某一通道负担过重。 智能化。精确交互技术是指能用一种技术来完全说明用户交互目的的交互方 式，键盘和鼠标器均需用户精确输入。而人们的动作或思想往往并不很精确， 计算机应该理解人的要求，甚至于纠f 人的错误，智能化的界面是一个重要方 向。 高带宽。现在计算机输出的内容己经可以快速、连续地显示彩色图像，其信 息量非常大。而人们的输入却还是使用键盘一个一个地敲击，因而，计算机的 输入带宽是很低的。新一代的用户界面应该支持高的输入带宽，快速大批量地 输入信息。语音、图像等的输入和理解是今后的发展方向。 不限制地点。目前，计算机主要是在办公室、实验室或家庭中使用，人们面 对着计算机屏幕进行操作，这种操作方式限制了计算机的应用。虽然已经可以 用遥控器代替部分动作，但也并不十分方便，而采用语音输入输出或其他计算 机视觉( 摄像输入) 技术，则可不受地点的限制。 图示编程。图形用户界面的编程是很费时的工作，而采用图示编程( v i s u a l p r o g r a m m i n g ) 则比较简单和直观。现在有些多媒体制作工具，如a u t h o r w a r e p r o f e s s i o n a l ，i c o n a u t h o r 等，采用图示方法设计多媒体文档脚本，以便于交互修 改、控制时间关系。新一代的用户界面应尽可能提供图示化的开发工具。 2 3 嵌入式g u i 2 3 1g u i 在嵌入式系统中的地位 随着近年来手持式和家用型消费类电子产品的发展，人们对这些产品的用户 界面产生了新的需求，例如：手机、p d a 、便携式媒体播放器、家庭多媒体娱 1 2 武汉理i ：人学硕十学位论文 乐中心、数字机顶盒、d v d 播放器等等。以前，这类产品的用户界面都比较简 单，而现在，我们可以看到，大部分产品都需要有漂亮的图形用户界面，甚至 要求能够支持全功能的浏览器，使得用户能够随时随地进行网络信息的浏览。 但是，由于消费类电子的成本敏感性特点，这些产品大多数希望建立在一个有 限占用系统资源的轻量级g u i 系统之上，这与p c 机中g u i 系统有根本性的区 别。 另外一个轻量级g u i 系统的需求存在于工业控制领域，由于工业控制领域 对实时性的要求比较高，所以这些系统也不希望建立在庞大的、响应迟缓的g u i 系统之上。尤其是在实时l i n u x 系统出现以后，由于l i n u x 系统的稳定性、可靠 性、易移植性以及其广泛的软硬件支持，l i n u x 系统在工业领域也得到越来越多 的应用，而一个轻量级的g u i 系统也正是这类系统所需要的。 从用户的观点来看，g u i 是系统的一个最至关重要的方面：用户通过g u i 与系统进行交互，所以g u i 应该易于使用并且非常可靠，而且它还需要有内存 意识可以在内存受限的、微型嵌入式设备上运行。 从二次开发者的角度看，g u i 是一个友好的开发环境，开发者无需经过艰苦 的学习就能适应丌发过程，这样才能使得基于此平台的应用很快地丰富起来。 对于二次丌发商而言，也才有兴趣使用此产品为终端产品制造商提供解决方案。 另外，必须清楚的是，嵌入式系统往往是一种定制设备，它们对g u i 的需 求也各不相同。有的系统只要求一些图形功能，而有些系统要求完备的g u l 支 持。因此，g u i 也必须是可定制的。 从系统的体系结构来看，g u i 系统属于应用层的软件系统，但通常而言，g u i 有别于一个简单的图形库，一个g u i 系统通常会有自己的应用开发模式，从这 个意义上讲，g u i 应该属于中问件的范畴。 2 3 2 目前比较成熟的g u i 系统 1 ) m i c r o w i n d o w s n a n o 。x m i c r o w i n d o w s 是一个著名的开源嵌入式g u i 软件，目的是把现代图形视窗 环境引入到运行l i n u x 的小型设备和平台上，作为xw i n d o w 的替代品。它支持 多线程，但必须使用p t h r e a d 库。m i c r o w i n d o w s 是一个典型的基于c l i n e n t s e r v e r 体系结构的g u i 系统，采用分层结构【1 0 j ，见图2 2 。 在最底层，它抽象了一个数据结构以表示显示屏幕、鼠标、触摸屏以及键盘， 1 3 武汉理工大学硕士学位论文 并提供了对物理设备