（计算机应用技术专业论文）机顶盒中多模式人机交互接口的研究与设计.pdf

上海大学硕l 学位论文 摘要 在我国数字电视改造的长期过程中，作为过渡产品的数字机项盒扮演了重 要的角色，辅助模拟电视接受数字电视信号。人机交互系统则是机项盒中重要 的组成部分，直接决定其功能的发挥和产品的普及。 目前，家用机顶盒的操作非常不便，遥控器按钮繁多复杂，输出界面形式 呆板，用户无法灵活地使用网上冲浪或在线游戏等交互功能，这些往往导致用 户对机顶盒的认可度降低。数字化进程也为机项盒的交互系统提出更多要求， 如远程控制、利用现有设备进行集成控制等。 本文针对机项盒中流行的人机交互元素进行深入分析，提出多模式人机交 互接口概念，给出其系统模型与框架，引入新的交互应用方式。为实现多模式 的人机交互，文中提供通用的机顶盒软硬件支撑平台，并给出多模式交互接口 不同形式的设计方案，包括基于q t 和m i n i g u i 两种图形引擎的多模式交互中 间件，以及独立的驱动程序和认l 层驱动程序方案。部署了系统上层应用开发 环境后，文章的主体部分着重实现了基于不同图形引擎的多模式交互中间件， 并描述了位于不同层次的驱动程序实现细节，最后从不同角度对各方案进行分 析比较，在多模式人机交互思想成功验证后提出了展望。 本研究从机项盒的具体应用出发，遵循将多种非标准交互模式转换为单个 标准交互模式的思想，抽象出系统的多模式人机交互理念、系统模型与框架， 不仪有助于改进机顶盒的人机交互环境，更着眼于改善一般嵌入式设备的人机 交互系统，具有良好的产业应用前景。 关键词：人机交互机项盒多模式图形系统 v 上海大学硕十学位论文 a b s t r a c t d u r i n gt h el o n g - t e r mp e r i o do fd i g j t a lt e l e v i s i o nr e c o n s t r u c t i o ni no u rc o u n t r y , t h es e t - t o pb o x ( s t b ) h a sp l a y e da ne s s e n t i a lr o l ea sat r a n s i t i o np r o d u c tw h i c h t r a n s f o r l t l s a n a l o gs i g n a l si n t od i g i t a l t h eh u m a n c o m p u t e ri n t e r a c t i o n ( h c i ) s y s t e m ，t h ek e yp a r t o fs t b ，d e t e r m i n e si t s a p p l i c a t i o na n dp o p u l a r i z a t i o n e v e n t u a l l y t h ec o n v e n t i o n a ls t ba th o m ei si n c o n v e n i e n tt om a n i p u l a t ef o ru s e r s t h e b u r o n so fc o n t r o l l e ra r em i s c e l l a n e o u sa n dc o m p l e x t h eo u t p u ti n t e r f a c es h o w s s t i f f l y t h ei n t e r a c t i o nf u n c t i o n sl i k eo n l i n eb r o w s i n go rg a m i n gc a n tb eh a n d l e d e a s i l y a l lt h ea b o v ea r ew h a tc o n s u m e r sa l w a y sc o m p l a i na b o u t i na d d i t i o n ，d i g i t a l i n n o v a t i o nh a sm o r er e q u i r e m e n t sf o rt h eh c is y s t e mi ns t bs u c ha sr e m o t e c o n t r o l l i n go rc o n t r o l l i n gb ym e a n so fe x i s t i n gf a c i l i t i e s i nt h i st h e s i s ，t h ep o p u l a rh c ie l e m e n t so fs t ba r ef i r s td e e p l ya n a l y z e d t h e n t h ec o n c e p to fm u l t i - m o d eh c ii n t e r f a c ei si n t r o d u c e di n n o v a t i v e l yb e f o r ei t sm o d e l a n ds t r u c t u r ea r eb r o u g h tf o r w a r d ，a c c o m p a n y i n gw i t hi t sn e wa p p l i c a t i o nm e t h o d s t ov a l i d a t et h i st h o u g h t ，t h i st h e s i sd e s c r i b e st h eg e n e r a lh a r d w a r ea n ds o f t w a r e p l a t f o r mo fs t b ，a n dd e s i g n sd i v e r s ef o r m so fm u l t i - m o d ei n t e r a c t i o ni n t e r f a c e i n c l u d i n gt h em u l t i m o d ei n t e r a c t i o nm i d d l e w a r eb a s e do nq ta n dm i n i g u ig r a p h i c e n g i n er e s p e c t i v e l y , t h eu n a r a c h e dm u l t i - m o d ei n t e r a c t i o nd r i v e ra n dt h ed r i v e ri n 认ll a y e r a f t e re s t a b l i s h i n gt h ed e v e l o p m e n te n v i r o n m e n tf o ru p p e re m b e d d e d a p p l i c a t i o n ，t h em a i np a r to ft h i st h e s i sd e a l sw i t hc r i t i c a ld e t a i l so ft h em i d d l e w a r e r e a l i z a t i o nb a s e do nd i s t i n c tg u ie n g i n e sa n dt h ed r i v e rr e a l i z a t i o nl o c a t e da t d i f f e r e n tl a y e r s b a s e do nt h ec o m p a r i s o na m o n gt h e s ei m p l e m e n t a t i o n s ，w ep r e s e n t t h ec o n c l u s i o na n d p r o s p e c to f t h em u l t i m o d eh c is y s t e m t h i sr e s e a r c hn o to n l ya b s t r a c t saf r e s hi d e af r o mac o n c r e t ea p p l i c a t i o no fs t b ， b u ta l s oc o n c e i v e sc o r r e s p o n d i n gm o d e la n ds t r u c t u r e ，c o m p l y i n gw i t ht h et h o u g h t o ft r a n s f o r m i n gs e v e r a ln o n s t a n d a r di n t e r a c t i o nm o d e si n t oas t a n d a r dm o d ew h i c h s u i t st h ed a i l y - u s eb e s t w ea i mt oa m e l i o r a t et h eh c is y s t e mo fa l lg e n e r a l e q u i p m e n t si n c l u d i n gt h es t bt h r o u g ht h i si n n o v a t i o nw i t hg r e a ta p p l i c a t i o nf u t u r e k e y w o r d s ：h u m a n - c o m p u t e ri n t e r a c t i o n s e t - t o pb o x m u l t i m o d e g u is y s t e m v i 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人己发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：垄薹叁日期：型 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 1 1 日期删 上海大学硕十学位论文 1 1 研究背景 第一章绪论 随着4 c ( 计算机c o m p u t e r ，通信c o m m u n i c a t i o n ，消费电子c o n s u m e r e l e c t r o n i c s ，内容c o n t e n t s ) 时代的到来，从全球信息化形势来看，数字电视最 终将取代模拟电视。但是，我国绝大多数家庭中使用的仍然是模拟电视，在长期 的模拟电视向数字电视过渡的过程中，数字电视机顶盒将成为最佳的解决方案。 数字电视机项盒是一种扩展电视机功能的信息家电产品，通常被放置在电视机上 ( 由此得名“机顶盒) ，用于将数字信号转换成模拟电视可接收的信号，使用户 可以在现有的模拟电视上收看数字电视节目，并能实现视频点播、因特网浏览和 远程教育等交互功能。数字电视机顶盒的关键技术覆盖了多媒体、数字压缩编码、 加解密算法、人机交互、通信技术和网络技术等多个领域。 目前我国数字电视产业正处于蓬勃发展期，为了争夺国内巨大的市场，各地 数字电视运营商或生产商使出浑身解数，但发展状况良莠不齐，数字电视的增值 业务不尽相同，不同种类的机项盒产品层出不穷比1 。随着对机项盒中人机交互系 统的要求不断提高，自主开发的交互系统性能各有优劣，图形界面各式各样，输 入输出系统日趋复杂，操作复杂度隐性增加，普通用户在复杂的人机交互过程中 越来越无所适从。同时，电子节目指南、画中画、信息浏览器、多功能遥控器等 新技术的涌现更是增加了人机交互系统的负担，因此，机顶盒中人机交互系统的 重要性被各大厂商逐渐所认识。除去丰富的功能，低廉的价格等因素之外，优秀 的人机交互系统带来的操作简易性将是机顶盒普及过程中不可或缺的因素。本文 对机项盒中多模式人机交互接口的研究正是在此背景下提出的。 1 2 研究现状与发展前景 人机交互( h u m a nc o m p u t e ri n t e r a c t i o n ，简称h c i ) 是指用户与计算机系统 之间的通信，它是人与计算机之间的各种符号和动作的双向信息交换，因此人机 交互也称为人机对话。人机交互是研究人和计算机以及它们间相互影响的技术， 最终目的在于探讨如何使计算机能帮助人们更安全、更高效地完成所需要的任务。 而人机界面则是人机通信的媒体和手段，是人机双向信息交换的支持软件和硬件。 人机界面与人机交互虽然定义不同，但联系密切，人与机器之间的对话是通过一 上海大学硕上学位论文 定的人机界面来实现的，在开发过程中常常瓦为同义词。人机交互的发展历史， 就是人机界面的发展历史，经历了以下几个阶段： 1 早期的手工作业阶段：当时通过手工操作或纸带输入等笨拙的方法去操控 功能弱小的早期计算机。 2 作业控制语言及交互命令语言阶段：这一阶段中用户可采用批处理作业语 言或交互命令语言的方式和计算机打交道。 3 图形用户界面( g r a p h i c u s e r i n t e r f a c e ，简称g u i ) 阶段：g u i 简明易学， 使不懂计算机的普通用户也可以熟练地使用，开拓了用户人群。它的出现使信息 产业得到空前的发展。 4 网络用户界面的出现：以超文本标记语言及超文本传输协议为主要基础的 网络浏览器是网络用户界面的代表，特点是发展快，应用范围广泛。 5 多通道、多模式、多媒体的智能人机交互阶段：这是对未来发展方向的企 盼，针对新型的实体如移动设备等，突破以鼠标和键盘为代表的g u i 技术发展的 瓶颈，利用人的多种感觉通道和动作通道( 如语音、手写、姿势、视线、表情等 输入) ，以并行、非精确的方式与计算机环境进行交互，提高人机交互的自然性和 高效性3 1 。 如今嵌入式计算、移动计算、普适计算等技术的飞速发展，h c i 领域作为一 个独立的、重要的研究领域受到了世界计算机产业界的关注，并成为新时代计算 机行业又一竞争领域。新的人机交互技术应运而生，a p p l e 公司开发的弧线触摸 式界面将i p o d 播放器推到了流行潮流的最前沿，以色列l u m i o 公司的光控投射虚 拟键盘技术为小型电子设备配备了功能强大的输入系统【4 】，任天堂公司的w i i 由 于采用了人体输入方式使得这款家庭游戏设备风靡全球，诸如此类的成功案例都 体现了人机交互系统的巨大价值。 作为信息家电代表的数字机顶盒，用户在使用时最直接接触的也是系统的用 户界面，输入接口等。一般来讲，机顶盒的人机交互系统包括接收用户输入信息、 系统对操作响应、信息的显示。合理的用户界面可以向用广提供系统可以做什么， 用户能做什么和该做什么等的信息，有助于用户对系统的理解和使用。而合理的 输入接口可以使用户更简单，舒服，快捷地使用和控制设备，得到更好的用户体 验。在我国长期的机项盒普及的过程中，对这方面的研究还处于起步阶段，没有 一个统一标准的人机交互系统能够得到市场的认可，因此在9 7 3 、8 6 3 、十五计划 中均将人机交互列入主要内容。 可以预计，在机顶盒这块新兴的领域，国内市场份额十分巨大，发展前景也 非常良好。在未来五年内，面向机项盒的人机交互系统一定会随之得到长足的发 展和进步。 2 上海大学硕一i ：学位论文 1 3 研究内容与意义 本文的研究主要基于以下出发点：大多数机顶盒的控制界面都是基于电子节 目指南，将按钮或选项高亮显示，具体操作时通过一格一格地移动来选择操作项， 机项盒中的其他应用软件的操作也依赖于这种模式。鉴于这种普遍的操作方式， 在机顶盒用户界面设计时就存在种种局限，布局拘束呆板，操作起来不自由；用 户进行上网冲浪、股票操作、银行现金交易时，遇到字符网址、数字密码等涉及 到键盘输入时手忙脚乱；用户玩游戏时缺少鼠标随意移动、点击等操作的快感。 可以说，虽然国内不同类型和档次的数字机顶盒产品众多，但在界面显示和用户 输入等交互方面都存在着不足，预设的功能由于受到交互方式的限制而无法真正 实现，用户体验得不到满足，这些都极大地阻碍了数字机项盒的普及进程。 针对以上问题，研究的目标可以简单地设想为：既然目前绝大多数用户最习 惯使用鼠标和键盘来操控复杂的计算机系统，那么就将鼠标和键盘的功能移植到 不具备鼠标和键盘设备的数字机顶盒设备中。经过扩展，从当前流行的机顶盒设 备的人机交互系统出发，可以抽象出一种统一的人机交互接口，通过接口的转换 功能，使得在不使用键盘和鼠标等外设的情况下，通过现有的遥控设备、蓝牙设 备、其他无线操作设备等，衍牛出鼠标和键盘的功能。此接口能够与应用程序无 缝连接，并通过显示界面反馈给用户，方便用户对嵌入式设备进行操控。以红外 遥控为例，通过遥控器上的方向键可以控制鼠标的移动方向、移动步长、移动速 度等；通过遥控器上的常用键来控制前后翻页、配置、软件盘的弹出与隐藏等； 通过界面上显示的软件盘来进行数字或字符的输入、大小写切换等。 此研究内容突破传统的设计思想，使得输入系统和显示系统可以呈现多种模 式，体现了很大的灵活性，但用户的体验却得到了统一，此处即鼠标键盘这种标 准的操控体验。本文希望通过理论上的探讨以及软件的具体实现，将研究成果很 好地应用到数字机顶盒设备中去，甚至应用到有输入需求但缺少特定输入设备的 一般嵌入式设备中去，普及自然、和谐、友好的人机交互平台，反过来推动和促 进产业的发展，这便是研究意义之所在。 1 4 论文结构安排 本文以上海大学嵌入式实验室“i p t v 机顶盒的研究与实现 课题为基础，针 对现有数字机顶盒人机交互系统的不足，提出多模式人机交互接口的思想并深入 探讨，随后据此思想在机顶盒设备上进行多模式人机交互功能的添加，给出相应 的设计方案与具体实现。 卜海大学硕_ 上学位论文 文章主要对多模式人机交互接口中的红外遥控模式这部分进行深入论证与实 现，通过将红外交互转化为标准鼠标键盘交互，并与应用程序反馈相结合，用户 使用红外遥控来方便地控制鼠标移动、点击以及键盘输入，从而验证多模式交互 接口思想的可行性。实现过程中采用两种不同的方案，一种是中间件的实现途径， 另一种是驱动的实现途径，并且基于不同的嵌入式图形库如q t 与m i n i g u i 进行开 发，对各方案的优劣进行分析比较，希望最终开发出套有价值的、应用范围广 泛的多模交互接口。 本文后续章节的结构组织安排如下： 第二章：详细介绍了数字机项盒中人机交互系统的关键元素和技术，在此基 础上提出了多模式交互接口的设计理念，分析其内容和框架模型，给出应用方式； 第三章：介绍了机顶盒的硬件及软件支撑平台，从软件架构的角度进行剖析， 由此引出多模式接口在机顶盒设备上的具体设计方案； 第四章：阐述了多模式交互接口软件开发平台的建立，包括宿丰机和目标机 软件环境的搭建，图形库的编译及移植等，为后续开发提供平台环境； 第五章：这部分是文章主体，详细介绍了多模式接口不同方案的具体实现， 关键技术，以及方案的比较总结； 第六章：对本文的研究工作进行总结，并对以后的研究方向进行展望。 4 j ：海大学硕十：学位论文 第二章机顶盒中人机交互系统 2 1 嵌入式人机交互系统 计算机系统可看成由硬件、软件和人构成的一个人机交互系统，而人与软件 及外设( 包括鼠标、键盘等) 交接的部分称为人机交互接口，它是人和设备之间 传递和交换信息的接口，又称为人机交互界面或人机接口。如图2 1 所示，通过 人机交互接口，人向计算机发出命令或提供数据等输入信息，这些信息经计算机 处理后，又将输出信息通过人机交互接口显示给用户。设计良好的人机交互接口 系统可以直观显示整个系统所具有的功能，简化操作，降低使用门槛，增添用户 体验，甚至影响产品的推广应用。 湿示 - - - - - - - - 卜- - - - - - - 一 输入 图2 1 人机交互接口不恿图 嵌入式系统是指以应用为中心、以计算机技术为基础、软硬件可裁减、适于 应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。当前 嵌入式系统得到了越来越广泛的应用，渗透到军事、交通、通信、家电、娱乐等 各个领域 5 】。相对于一般的桌面系统，嵌入式系统因其设备的便携性、使用环境 和操作人员的千差万别，对人机交互技术的需求更为迫切。使用人类自然形成的 交流与认知形式，可使产品的设计更趋智能化、人性化，用户察觉不到嵌入式设 备操作的特殊或麻烦。 当今，嵌入式人机交互系统的一个重要组成部分就是嵌入式g u i ，几乎成为 嵌入式人机交互系统的代名词【6 】。它以图形化为基础，使用统一的图形操作方式， 如可移动的视窗、选项与鼠标，作为用户与操作系统之间的中介。g u i 最重要的 优势在于使用户摆脱了在命令行提示符下与操作系统进行交互的方式，用户可以 仅仅通过点击快速地熟悉功能和操作。 然而由于嵌入式系统在体积、功耗以及价格上的限制，使得嵌入式g u i 系统 具有以下特殊要求：简单、直观、可靠、占用资源小且反应速度快，以适应系统 上海大学硕上学位论文 硬件资源有限的条件。另外，由于嵌入式系统硬件本身的特殊性，嵌入式g u i 应 具备高度可移植性与可裁减性，以适应不同的硬件条件和使用需求。目前较成熟 的g u i 系统有：m i c r o w i n d o w s 、o p e n g u i 、q t e m b e d d e d 、m i n i g u i 等，它们有 各自的优势和应用范围 _ 7 1 。本文第五章中会对其中两款g u i 系统以及基于它们的 实际应用开发进行着重讲述。 可以预见，随着电子、计算机等行业的高速发展，嵌入式系统将以它专用化、 效率高的特性深入实际应用的各个领域，因而对嵌入式人机交互系统的研究有着 长远的意义。本文从数字机项盒这个信息家电设备的代表出发，主要在嵌入式g u i 系统的基础之上进行拓展及创新，希望此研究对整个嵌入式软件业甚至整个计算 机界贡献一份力量。 2 2 机顶盒中人机交互接口 本节首先简述机项盒的概念和功能业务，随后对它的人机交互系统元素进行 剖析，包括作为标志性功能的电子节目指南、上网等应用必不可缺的嵌入式浏览 器、最普遍的红外输入遥控器。 2 2 1 机顶盒概念及功能业务 从广义上说，凡是与电视机连接的网络终端设备都可称为机项盒。从不同的 视角可划分出不同类别、形式多样的机顶盒，如有线电视数字机顶盒、地面数字 电视机顶盒、数字卫星的综合接收解码器、i p t v 机项盒等。目前，数字机顶盒的 基本功能是接收数字电视广播节目，然而随着功能集成的大趋势，设备性能的提 高以及成本的下降，机顶盒在家庭中可以扮演越来越多的角色，提供更多的广播 和交互式多媒体应用功能【8 】： 1 电子节目指南：用户通过该功能可以看到一个或多个甚至是所有频道上近 期即将播放的电视节目的信息，包括节目名称、节目开始时间和节目结束时间等。 2 高速数据广播：它能为用户提供天气预报、证券行情、时事新闻和电子报 纸等图文信息。 3 支持各种交互式应用：包括视频点播，互动游戏等；通过因特网的接入， 进行网页浏览、电子邮件收发等。 4 软件在线升级：软件在线升级是数据广播的应用之一。数据广播服务器将 升级软件数据广播下来，机项盒识别该软件的版本号，在版本不同时接收，并对 保存在存储器中的软件进行升级。 5 有条件接收：有条件接收的核心是加扰和解扰技术，用户通过数字电视机 6 j ：海大学硕 ：学位论文 顶盒的有条件接收模块可以享受运营商提供的付费服务。 6 个人视频录像( p e r s o n a lv i d e or e c o d e ，简称p v r ) 功能：用户可将自己 的节目录制到机顶盒内置的硬盘中，并可随时观看，在观看过程中还能进行暂停、 快进和快退等操作。 7 数字家庭网关：高级的机顶盒可以在数字家庭中承担家庭网关的作用，成 为家庭网络与外部因特网的枢纽，提供更多的管理功能。关于这部分的研究工作 已经在作者的论文中发表【9 】【10 1 。 总之，未来的发展方向就是机项盒的交互式应用功能将大大增强，性能极大 提高，用户使用率增大，交互式数字电视机顶盒将成为机顶盒的重点发展方向。 以上对机项盒的功能进行梳理，交待了研究的背景，为研究方向的定位提供了必 备信息。 2 2 2 机顶盒中人机交互元素 一电子节目指南 电子节目指南( e l e c t r o n i cp r o g r a mg u i d e ，简称e p g ) ，是用户与机顶盒的重 要交互途径，也是数字电视机顶盒的特色所在【l 。通过e p g ，用户不仪能够正常 地收看普通的电视节目，还可以选取特定的电视节目和获取其他增值业务。e p g 可以为用户提供：按节目分类检索节目；获得当前所有频道的节目信息；未来一 段时间内的节目播出表：视频网络中的播出情况等。高级的e p g 还将提供实时点 播、网络游戏等互动性更强的服务。另外，网络运营商通过e p g 来控制用户节目 收看的管理。因此e p g 在数字电视机顶盒中的作用是尤为重要的，它的性能直接 关系到用户与数字机顶盒交互的体验感。 e p g 从应用划分上可以主要分为如下的模块：w 曲表现层、系统和业务逻辑 层和应用服务层。w e b 表现层主要是与用户交互的表现，负责向用户展示交互界 面和响应解析用户的请求，并能支持根据不同的用户属性下发相对应的e p g 用户 界面。e p g 系统和业务逻辑层是e p g 的核心功能部分，主要完成系统的业务逻 辑功能，包括用户的业务请求和管理节目的元信息m e t a d a t a ，负责和e p g 的应用 服务层以及和增值业务服务系统的接口【1 2 j 。 w e b 表现层与系统和业务逻辑层通过a p i 接口调用，实现在同一业务逻辑层 下可以有不同的w e b 服务器表现层。应用服务层是e p g 系统中的关键模块，通 过和运营支撑系统、网络管理系统、内容服务系统及内容管理系统的接口，主要 完成用广的认证、计费、业务鉴权、机顶盒配置及用户管理等功能。 w e b 表现层主要是用户点播节目和选取频道的界面。各种节目和频道在进入 多媒体交换系统时，其相应的信息也将会存入到e p g 服务器上。用户可以通过机 7 ：海大学硕l 学位论文 项盒浏览e p g 服务器上的网页，查询各种视频点播( v i d e oo nd e m a n d ，简称v o d ) 节目的价格、信息，选择所需的电视频道或感兴趣的电影节目观看。 二嵌入式浏览器 随着网络深入到各个角落，网络接入成为信息家电等嵌入式设备的必备功能， 于是嵌入式浏览器成为广为流行的一种交互接口。嵌入式浏览器的定义从功能方 面分析，包括两方面：第一，与桌面浏览器一样，它必须是一个网络信息浏览器， 必须支持h t t p 等传输协议，支持h t m l 、j a v a s c r i p t 和x m l 等页面语言，可以 完成信息浏览的功能；第二，嵌入式浏览器必须适合在嵌入式设备中运行，必须 能够根据嵌入式设备的需要而方便地进行裁减和修改i 乃j 。 嵌入式系统中只有有限的空间，嵌入式浏览器的代码必须经过优化，保证系 统占用存储空间，运行时内存占用都很低，并保证比较高的运行速度、运行效率。 嵌入式浏览器采用独特的方式实现图形显示功能。嵌入式系统的显示设备类型也 不唯一，嵌入式浏览器要针对具体的显示设备进行优化( 如对字体识别、字库、 图形、甚至页面的显示结构进行优化) 。经过总结，典型的嵌入式浏览器具有如下 特点： 1 易用性：浏览器使用者的文化层次差别很大，要保证浏览器界面的友好性， 让它们具有亲和力，有自然的人机交互界面，使不同层次的用户都能够在网络世 界中畅游。 2 高性能：在保证浏览器能够正常运行的情况下，要满足嵌入式环境对小尺 寸、微功耗和低成本以及小内存的严格要求，尽量减少可执行代码所需的空间， 并尽量提高程序的运行速度。 3 可移植性：由于嵌入式环境的特殊性，充分考虑到将浏览器移植到不同硬 件平台时需要进行配置修改，因此高度可移植性是嵌入式浏览器的必备特性。 4 可扩展性：考虑到该浏览器用户的不同需求，提供用户应用程序接口，能 综合各种特别设计的应用程序，充分发挥浏览器的核心功能，还可以添加、删改 如在线升级等附加功能。 目前，较为成熟的嵌入式浏览器有：w i n d o w c e 中的简化版的i e 、 a c c e s s n e t f r o n t 、p l a t e w e b b r o w s e r 和k o n q u e r o r e 等4 | 。 三红外遥控接口 以上两个核心交互功能模块都偏重于显示交互方面，而与它们打交道的红外 遥控接口是迄今最常用的输入部件。现代家庭中的机顶盒一般采用以下操作模式： 电视机作为应用程序的显示终端，机项盒接收红外遥控器传输过来的用户指令， 并作出响应。红外遥控是一种利用红外线进行点对点通信的技术，主要有如下几 个优点u5 j ：无需专门申请特定频率的使用执照，这在当前频率资源匮乏，频道使 上海大学硕士学位论文 用费增加的背景下显得比较重要；具有移动通信设备所必需的体积小、功率低等 优点；数据传输速率比较高，由于采用点到点的连接，数据传输所受到的干扰较 少，最高数据传输速率可达1 6 m b p s 。 红外遥控接口位于机项盒软件系统的最上层，是人机接口中重要部分。这一 部分的实现要依赖于硬件设计和遥控器信号的发送和接收形式，但是大体上的处 理过程是一致的，都由遥控器的信号来触发一个中断，并将接收到的码值存入到 一块指定的缓冲器中，同时发送一个信号给应用程序中专门负责接收遥控器按键 值的任务。此任务不断地读取信号，一旦检测到信号，就到指定的缓冲器中将码 值读出，再按照事先规定好的遥控器码值对应表转换为应用程序可以识别的键， 并通过消息队列发送给用户接口界面程序，由它对按键进行响应，并进行相应的 处理操作，从而实现了交互。 2 3 多模式人机交互接口 前几节介绍了机顶盒中的人机交互元素，经过调研，在机顶盒的使用中存在 以下问题。无论是何种类型的机顶盒，普遍的交互手段都是利用红外遥控接口， 这种交互方式本身存在很多缺陷和局限：用户抱怨使用起来太不顺手，按钮太繁 杂，而常用按键仪占极少比例；上网时交互数字或字母的输入麻烦，远程医疗、 在线金融、电子支付等特有的互动功能无法完整实现：娱乐游戏的笨拙的操作方 式也无法吸引玩家。对应着红外输入，输出界面往往单调呆板，用户所见都是条 条框框的显示元素。因此大多数用户宁愿使用p c 机去娱乐而不愿意接受机顶盒 的增值服务，现在大多数家庭中的机顶盒仪仅发挥了频道接入、格式转换的最基 本的作用，用户并不是主动地被它吸引而是被动地接受运营商的安排。可以毫不 夸张地得出结论，数字机顶盒的人机交互系统的不友善是阻碍其进一步发展壮大， 进一步功能集成的一大障碍，对人机交互系统的研究和改造迫在眉睫。 为应对上述问题，出现了学习型遥控器、无线鼠标遥控器等解决方案【l6 。学 习型机顶盒遥控器可以“记忆”下机顶盒遥控器的基本功能，将机顶盒和电视机 的遥控器合二为一。遥控器不同的键有不同的功能，原理是发射不同频率的红外 线，只要遥控器带有学习功能，把机顶盒遥控器基本功能所需要的红外线频率设 置到它身上则可完成。而无线鼠标遥控器则是将鼠标的硬件功能集成到遥控器上， 一个遥控器相当于鼠标与键盘的合体。但这些解决方法都存在局限，即都是在遥 控输入这一端进行变革，而且往往都需要在硬件层作出调整，适应性不强，升级 或配置不便，而且新型事物的出现使用户使用和适应的复杂性无形中又增加了， 因此这些方案始终无法普及。 9 j ：海大学硕1 ：学位论文 2 3 1 多模式人机交互接口概念 针对上述状况，本文从其他方面提出思考：能否将鼠标、键盘、无线等现有 多种交互方式很方便地应用到机项盒中? 如何将这些方式使用起来更合乎用户的 习惯? 基于目前绝大多数用户习惯于p c 机上的标准鼠标键盘的交互方式，那么 这种习惯的交互方式能否在不具备这些硬件设备的机顶盒上实现，甚至应用到普 遍的嵌入式设备上来? 通过对这些问题的探索，暂时撇开机项盒这样个应用框架的束缚，将研究 目标放远到普遍的嵌入式设备应用中，本文提出了“多模式人机交互接口”的概 念。利用这种新型的人机交互接口，将多种不同模式的交互方式统一转换到一种 用户习惯的单个模式，通过配置到嵌入式设备上可以提高人机交互的性能和用户 体验。这种人机接口命名为“多模式”，顾名思义即将多种模式的交互方式统- - n 一起，用户能够按照自己的兴趣或意愿，尽管选择不同的交互渠道，但都能够得 到一个统一的、习惯的、舒服的交互方式，来与嵌入式设备打交道。 远程交互：现场交互 - l 图2 2 机项盒中多种模式交互不恿图 多模式人机交互接口思想的精髓在于“多模式 ，包括两方面含义。首先，交 互设备可以是多种不同类型，交互模式呈现多样，交互信息数据依然是经过本身 的通信信道，并不需要在硬件层次上进行更改。比如用户可以不局限于红外遥控 这种单调的交互方式，时髦年轻的用户可能更偏爱使用如图2 2 所示的手机、p d a 或带有蓝牙接口的笔记本来控制机顶盒，体验新的感觉。其次，尽管在人机交互 的“人 这端包括多种模式的交互方式，人可以通过多种不同的模式来操控，但 通过多模式人机交互接口的包装与功能汇聚，呈现给用户的是最习惯的交互方式 一比如鼠标键盘交互方式，也就是说在“机这一端察觉不到是多种模式的交互， 多模式被隐藏或伪装为单一模式。 另外，通过研究我们认为多模式人机交互接口需要具备以下的特性： 1 0 l 海大学硕。l 学位论文 丰富性：支持多种模式的嵌入式交互接口，突破传统的嵌入式设备交互 方式，能够包含如蓝牙、无线、有线等不同操控方式。 方便性：不需要更改硬件层设备本身，从而利用现有的平台或设备，节 约资源代价，在已有的条件下进行多功能的扩展。 灵活性：实现形式多样化，多模式接口并不代表某一种特定的软件或驱 动程序，它是一个集合，可以针对不同的环境表现不同的实现方式，包 括驱动程序、中间件、应用程序等。 易用性：用户能以习惯的方式与一般的嵌入式设备交互，包括图形界面 方式或文字界面方式。由于图形界面方式已经成为丰流，因此基于g u i 的交互必然是研究重点。 独立性：多模式接口的实现基本不用影响嵌入式应用本身，或者不用对 应用进行大修改，能够方便、快捷、简单地跟已有的应用程序结合。 轻量性：由于针对的嵌入式设备应用这个特殊环境，多模式接口尽量保 持轻量，代码简洁，占用资源少，优化率高等。 通过上述方面的衡量，可以判断出多模式人机交互接口的性能。本节仅仅是 多模式人机交互接口概念的提出及简单解释，明确本文的研究方向，下面将在此 基础上进一步深入探讨。 2 3 2 多模式人机交互接口模型与框架 上一节介绍了多模式人机交互接口的概念，下面从框架结构等方面进行详细 描述。多模式人机接口的实现集中在嵌入式系统的软件层，但表现形式多样，针 对不同的应用环境和要求采用不同的实现方式，包括驱动程序、中间件、应用程 序等形式。 图2 3多模式人机交互接口模型图 图2 3 给出了多模式人机交互接口的模型，图示它可以贯穿软件系统的不同 层次，相当于在嵌入式设备上开辟了一个“通道 与用户进行交互。此模型的含 t - 海大学硕士学位论文 义在于，多模式人机接口是一个软件系统，可以理解为一个软件集合，它能够根 据需要通过不同的实现方法将不同模式的交互形式统一到一个用户习惯的舒服的 单一交互模式中来。用户不需要关心接口软件的实现是位于应用层还是驱动层， 只需要通过与接口的交互，即可实现对嵌入式设备的操控。 “人”端 j 渺 - 陟 ； 国；- 陟 i q d 陟 不同的 输入模式 。机端 、口、胗习 式人机交互接口 广一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一1 不同模式i 多模式转化单一模式；嵌入式 的信号i 接收层处理层输出层i 应用 l 一一一一一一一一一一一一一一一一一一一一一j 图2 4 多模式人机交互接口框架图 多模式人机接口的框架示意则如图2 4 所示，由于多模式交互主要体现在输 入端，在输出端只需要针对不同的交互形式进行对应的图形输出或应用程序的改 变，因此未在图中着重表现。在人机交互的“人”端，不同输入模式的信号源发 出的信号通过不同的信道传送到“机”端，通过多模式接口的接收层进行信号的 聚集和预处理，随后转交给转化处理层对信号进行解释和重新包装，得到统一的 信号模式，最后通过单一模式输出层进行输出，嵌入式应用则可以得到统一的输 入信号( 本研究中为鼠标键盘标准输入) 。在用户界面的输出方面，原本沉闷的 界面结合了鼠标的操作，可以在需要的时候灵活地移动或点击选择；当需要复杂 按键输入的时候，可以借助屏幕键盘进行可视化点击操作，或者通过新的输入方 式方便地输入键码。可以看出，由于多模式人机接口的“缓冲作用，应用程序 本身并不需要大改动，用户不需要进行观念上的大转变。 2 3 3 多模式人机交互接口应用 前面提到本文的研究背景是机顶盒，它也是首选的应用目标，下面通过详细 阐述多模式人机交互接口在机顶盒中的应用来展现该思想的价值。 本文针对机顶盒的具体应用，多模式人机交互接口的实现形式就是，将多种 模式的输入都映射到机顶盒中的鼠标键盘操作。这里先就传统的红外遥控交互方 式进行讲述，从论证这一种模式的可行性出发从而进行多模式的扩展。借助最常 1 2 上海大学硕l 学位论文 用的红外遥控来实现鼠标和键盘的标准输入，在用户界面上反馈鼠标动作以及键 盘输入，使得用户通过虚拟的鼠标和键盘可以灵活地进行操控。 输入 机项盒 电视机 图2 5 机顶盒中多模式人机交互接口应用效果图 图2 5 是用户与应用了多模式人机交互接口的机项盒的交互效果图。图的左 半部主要是用户与遥控器部分，可以看出在红外遥控器上的按键简洁明了，但已 包括最常用的功能。通过上下左右的按键可以操控鼠标的移动方向，方向键中间 的确定键用来确定点击，相当于鼠标的左按键。另外通过c o n f i g 键可以设置鼠标 的移动步长，调整鼠标在屏幕上的移动距离。另外，键盘的一些常用按键比如确 定、取消、翻页等都已经在遥控器中设置了快捷操作键，如果遇到复杂的输入情 况，则可通过s o f t k e y b o a r d 键弹出屏幕键盘( 软件盘) ，用鼠标点击屏幕键盘的 按键进行输入。图的右半部主要是机项盒与电视机显示系统。用户通过红外遥控 的操作产生了鼠标和键盘的动作，与机顶盒的上层应用软件集成之后，通过视觉 输出反馈给用户。于是用户、红外遥控、机顶盒、电视机这四个元素通过多模式 接口有机地构成一个新型的交互系统。 上图中只是给出了多模式人机交互接口应用后的效果描述，红外遥控部分只 给出了遥控界面的示意，实际应用中并不规定具体遥控器型号。可以对已有的遥 控器进行改造，通过对一些按键码的改变来得到新型遥控；或者重新设计硬件， 并批量生产出简易的遥控器；甚至可以利用非传统意义上的遥控，通过图形软件 的形式实现，通过移植到带触摸屏的p d a ，带有点击操作功能的p c 机，笔记本 上等，通过图形界面的点击同样可以完成对数字机顶盒的操控。这同样是多模式 1 3 上海大学硕士学位论文 接口的“多模式”的意义所在。 多模式人机交互接口的应用范畴远不止机项盒，在嵌入式设备中往往都存在 人机交互的问题，本文的研究方案可以成为这一系列问题的解决方案，用户不仅 能够通过不同的设备、不同的方式和路径来交互，而且最终表现形式都归结为单 个用户习惯的交互方式。而且系统实现方法也多种多样，可以不妨碍嵌入式应用 本身，这个创新将会给嵌入式领域带来更多生机。 2 4 本章小结 本章为全篇的枢纽，首先分析了嵌入式环境下人机交互的情况，然后针对机 顶盒这个具体应用进行剖析，归纳总结了当前存在的问题。为解决问题而开门见 山地引出了多模式人机交互接口的思想，简要地介绍其概念，对其研究目标等详 细描述，接着对其模型和框架进行交待，分析了其应用形式及前景。以上内容基 本都是从理论角度出发，为了证实本思想的可行性，后续章节将阐述在数字机顶 盒具体应用上进行的实现工作，包括详细的设计方案，实现平台的搭建，软件的 开发等。 1 4 上海大学硕士学位论文 第三章多模式人机交互接口系统设计 本章首先介绍机顶盒系统的原理以及软硬件平台支撑环境，为多模式人机交 互接口的系统设计提供必备条件。在此基础上，具体地阐述多模式人机交互接口 的不同设计方案，各自的侧重点，关键技术等。总之，本章旨在将多模式人机交 互接口具体化，实例化，将理论转化为有血有肉可见的设计形式，为后续具体实 现勾画出技术蓝图。 3 1 机项盒平台环境 3 1 1 机顶盒原理 机顶盒的核心功能业务是接收数字电视广播节目，其他的业务都是围绕这个 主体而建立。通过图3 1 给出的机项盒中数据流图，可以对机顶盒内部工作原理 有所认识。数字节目信源在进入传输网络前完成两级编码，一是传输用的信道编 码，另一级是音、视频信号的信源编码，然后将所有信源封装成传输流。与前端 相应，接收端机顶盒首先从传输层提取信道编码信号，完成信道解调；其次是还 原压缩的信源编码信号，恢复原始音、视频流，同时完成数据业务和多种应用的 接收、解析。 图3 1 机顶盒中数据流图 当电视信号到达数字电视的接收端，机顶盒中的调谐模块接收射频信号并且 下行变频为中频信号，然后进行a d 转换为数字信号，再送入解调模块进行解调， 输出特定格式的传输流的串行或并行数据。解复用模块接收t s ( t r a n s p o r ts t r e a m ) 流，从中分解出某个节目的p e s ( p a c k e t i s e de l e m e n t a r ys t r e a m ) 数据( 包括视频 上海大学硕：仁学位论文 p e s 、音频p e s 和数据p e s ) 。解复用模块包含一个解扰器，可以将加扰过的p e s 解扰，输出正常的p e s 。视频p e s 送入解码器，解码后输出到p a l n t s c s e c a m 编码器，将数字信号编码成c v b s 、s v