（计算机应用技术专业论文）手写笔白板系统中协同工作及相关问题的研究与实现.pdf

昆明理工大学硕士学位论文手写笔自板系统中协同工作及相关问题的研究与实现 摘要 本论文的研究是云南省科技厅国际合作计划的基金资助项目“新型人机接口 一电子笔多功能网络视频会议实时通信技术的研究开发”的一部分。该研究项目 主要由面向多功能手写笔的白板系统和视频音频系统组成。本文重点对手写笔白 板系统中与协同工作有关的部分进行了分析研究，并开发了相应的实验程序。 本文在白板系统和计算机支持的协同工作等理论的基础上，根据实际需要， 首先提出了手写笔白板系统的总体结构模型和工作流程。 然后，在协同感知方面，结合光标标识法研究了手写笔协同工作中感知功能 的具体实现；在会议信息数据处理方面，结合数据库技术，提出了使用a c c e s s 数 据库中间件作为应用程序后台数据库，处理会议信息的解决方案并给出了相应的 数据库安全管理的解决方法。 本文还利用了数字水印和电子签名的原理，结合手写笔签名的一些重要特 点，提出了一种手写笔签名图像的防伪鉴别方法，并给出了具体实现。 最后对本人的研究工作进行了总结，并对下一步研究工作提出了建议。 关键词手写板共享白板协同工作数据库数字签名 1 1 摘要 a b s t r a c t t h ec o n t e n t so ft h i sp a p e ri sam a i n p a r to f t h es t u d y - - r & do fr e a l t i m ec o m m u n i c a t i o n t e c h n o l o g ys u p p o r t e d t a b l e t i nn e t w o r k v i d e o c o n f e r e n c e i ti sai n t e r n a t i o n a l c o o p e r a t i o n f u n dp r o j e c t s u p p o r t e db y s c i e n c ea n dt e c h n o l o g yo f f i c e ，y u n n a np r o v i n c e t h i sr e s e a r c hi sm a k eu p o ft w o p a r t s w h i t e b o a r ds u p p o r t e d t a b l e ta n dv i d e o & a u d i om o d u l e s t h i s p a p e r d i s c u s s e ss o m e a s p e c t s a b o u tc s c wi n v o l v e di nw h i t e b o a r d s u p p o r t e d t a b l e ta n dt h et r i a lp r o g r a mi sd e v e l o p e d t h i sp a p e ri n t r o d u c e ss o m eb a s i ck n o w l e d g ea b o u tw h i t e b o a r da n d c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k ( c s c w ) a c c o r d i n g t ot h e e x p e r i e n c eo f o u rr e a l i z a t i o no fw h i t e b o a r d s u p p o r t e dt a b l e t ，t h i sp a p e r f i r s t d i s c u s s e st h ed e s i g no f w h i t e b o a r ds y s t e ms u p p o r t e dt a b l e t t h e nt h i s p a p e r d i s c u s s e st h er e a l i z a t i o n t e c h n i q u e o fa w a r e n e s s b e t w e e n m u l t i - u s e r s ，w h i c h u s et h ec u r s o rm a r km e t h o d f o r 廿1 e c o n f e r e n c ed a t a ，t h ep a p e rp r o v i d e sam a n a g i n ga n dr e c o r d i n gm e t h o d ， w h i c hu s ea c c e s sa st h eb a c k g r o u n dd a t a b a s eo fa p p l i c a t i o n a n dt h e s o l u t i o no f t h ed a t a b a s e s e c u r i t yw a sp u t f o r w a r d t h i sp a p e ra l s oi n t r o d u c e st h eb a s i ck n o w l e d g eo f d i g i t a lw a t e r m a r k t e c h n o l o g y a n d d i g i t a ls i g n a t u r e t h e na c c o r d i n g t ot h e s i g n a t u r e c h a r a c t e r i s t i cw r i t t e nb yt a b l e tp e n ，t h ea u t h o rp r o v i d e sam e t h o d ，w h i c h c a nd i s t i n g u i s ht h et r u e s i g n a t u r eb i t m a pw r i t t e nb yt a b l e tp e nf r o mt h e f o r g e r y a n d t h et r i a lp r o g r a mi sg i v e d i nt h ee n d ，t h ea u t h o rs u m m a r i z e st h es h o r t a g eo f t h e s y s t e ma n dg i v e s o m ea d v i c ef o rm o r e d e v e l o p m e n t s k e y w o r d s ：t a b l e t ，w h i t e b o a r d ，c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k , d a t a b a s e ，d i g i t a ls i g n a t u r e 1 1 i 前言 前言 计算机手写板的出现提供了一种新的人机交互手段，随着手写笔软件的研究 开发，使用手写笔不仅能够实现手写输入，还能实现许多其他功能，诸如：电脑 书法绘画、美术设计、实现音频、视频加手写的网络交互功能等。现有的视频会 议系统主要使用视频、音频、文字和简单画线功能进行会议中的交流。而本研究 使用手写笔作为视频会议系统接入终端的外设，在视频会议系统原有功能的基础 上，增加接近自然笔的手写交互功能，符合同时具有视、听、写的自然交互习 惯，从而能有效地增强视频会议系统的性能和服务质量，满足多种应用的需要。 丁怀东教授承担的前一个研究课题是“信息化中国钢笔( 含毛笔) 书画计算 机模拟系统”，该系统开发了面向手写板的绘画软件，其主要成果是解决了手写 笔的多功能特性在书法绘画功能中的应用问题。该软件能根据使用者运笔的情况 决定毛笔的笔锋和力度，从而能体现出不同使用者的书写特色，在个性化书法表 现方面已经接近自然毛笔的特点。此外，该软件还模拟了铅笔、钢笔和毛笔在绘 画功能中的多种表现特征，如钢笔的均匀性和空线，毛笔的枯笔和浓淡变化等实 际效果。2 0 0 2 年1 月2 9 日，该软件通过了云南省科技厅组织的专家鉴定，其研究 成果被评估为达到了国内先进水平。 目前，丁怀东教授所领导的研究课题“新型人机接口一电子笔多功能网络视 频会议实时通信技术的研究开发”是云南省科技厅国际合作计划基金资助项目。 在前一个研究课题的基础上，本课题的研究是把手写笔多功能特性应用于视频会 议系统，并开发出专门面向视频会议的手写笔白板系统。 本课题采用n e t m e e t i n gs i ) k 建立网络数据连接，遵循手写板的w i n t a b 3 2 国际 标准，使用v c + + 6 0 作为开发平台，前期进行了视频、音频的交互试验，并开发 出手写笔白板系统的实验版软件，其中包括管理控制模块、多笔型传输模块、聊 天模块、查询审核模块等部分。该白板系统可以独立地为用户提供网络电子白板 的服务功能，并且具有丰富的多笔型特征和独特的感知、查询、签名等特点。 本论文对该课题的主要组成部分一手写笔白板系统中的关键问题进行了研 究，主要涉及到白板系统中计算机协同工作及其相关问题。对所涉及的协同工作 中的感知、记录、远程指示以及有关的查询、审核和签名等问题进行了较为详细 的研究，提出了相关的解决方案，设计并开发了实验版软件，取得了阶段性成 果，为该课题的进一步研究和软件的完善奠定了良好的基础。 昆明理工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做 出重要贡献的个人和集体，均已在论文中作了明确的说明并表示了谢 意。本声明的法律结果由本人承担。 学位论文作者签名：蔹聿 j 日期：o 卯吾年争月9 日 第一章课题的准备工作与理论基础 第一章课题的准备工作与理论基础 1 1 课题的准备工作 1 1 1w in t a b 标准 1 9 9 1 年，l c s t e l e g r a p h i e s 被a u t o d e s k 公司和数位手写板生产商们指定以确 定手写板接口规范。l c s t e l e g r a p h i c s 提出的手写板接口规范获得了广泛的认 可，许多开发c a d 和图形软件的大公司开始使用该规范提供的w m t a b a p i ，而 外设销售商也为其数位板外设提供了相应的w i n t a b 驱动程序。1 9 9 3 年8 月t h e c o m m i t t e ef o r a d v a n c e d p o i n t i n gs t a n d a r d s ( c a p s l 发展了这种手写板接口规范， 使其成为现在手写板等指示设备编程接口的工业标准【2 】。 w i n t a b 3 2 是1 9 9 9 年2 月颁布的t h e w m t a b d e v e l o p e r k i t 的1 2 6 版，它为应用 程序提供了符合标准化的函数集，是目前面向数位手写板、三维位置感知和其他 一些指示设备的标准编程接口。w i n t a b 3 2 d l l 动态链接库为相关编程提供必要的支 持，并保证程序在没有安装手写板的情况下，不能正确运行f l j 。 1 1 2 手写笔特性参数的提取 在w i n t a b 标准的基础上，引入相关的w m t a bs d k 中的a p i 豳数，可以实现 在程序中提取出手写板的相应参数。我们根据研究开发的需要，在程序中提取出 横坐标、纵坐标和笔的压力感应数值这三个参数，并开发出接口模块实现了计算 机与手写板的通信。 1 1 3 手写笔的多功能表现效果的模拟实现 在“信息化中国钢笔( 含毛笔) 书画计算机模拟系统”课题中，较好地解决 了毛笔效果的模拟问题。该软件采用一种可以反映毛笔笔尖形变的基于贝塞尔曲 线的数学模型，使得在实际应用中能够接近自然毛笔的书写效果，从而体现出不 同人书写汉字的笔画结构的特点和书法笔锋的特点。此外，该软件还充分考虑了 钢笔和毛笔在实际书法绘画中的特殊要求，对国画中的浓淡笔、枯笔的效果以及 钢笔的均匀性和空线等效果也做出了模拟实现，在处理笔的压力参数、宽度参数 和硬度参数等方面做了深入的研究，为下一步开发手写笔自板系统打下了基础。 1 1 4 应用于视频会议中的手写笔白板系统的开发策略 在“新型人机接口一电子笔多功能网络视频会议实时通信技术的研究开发” 昆叫理工人学硕士学位论文手写笔白板系统中协同工作及相关问题的研究实现 课题中，其目标是建立一个基于i p 网络之上的虚拟的桌面视频会议系统。该系统 能支持视频、音频等数据传输，并实现一个多媒体协同工作的通信环境，为多功 能手写笔特性参数的传输提供相应的数据通道。 通过集成已有的视频会议系统来实现这一目的，有其可靠和方便之处。但是 已有的视频会议中的电子白板软件，都不是专门针对数位手写板开发出来的，这 样即便是能用上手写笔，也只是相当于鼠标的作用，体现不出手写笔多功能多效 果的应用特色。在这种情况下，再进行单独的手写笔白板系统的开发，可能会由 于该视频会议系统的某些限制，而不能与原有的视频、音频系统很好地集成为一 体。 采用自行研究白板、视频、音频等会议功能的开发方式，可以更加全面地考 虑系统的集成问题，具体实现可以采用w i n d o w ss o c k e t 技术。在系统中各计算机 通过s o c k e t 进行连接，相互之间的联系是一个指定格式的数据包，而不必关心计 算机的机型和操作系统，因而具有跨平台性。但采用w m d o w ss o c k e t 技术实现起 来开发周期长，成本大。 为了既保证系统的可靠性、完整性和一致性，又要降低系统的开发成本，我 们采取了开发与集成并重的方针。参考些资料后【4 】，看到用n e t m e e t i n g c o m 组件可将m i c r o s o f t n e t m c c f i n g 的所有功能方便地纳入到自己的手写笔白板系统 中，并r m i c r o s o f t 还提供了新版本的n e t m c c t i n g 3s d k 用以扩充其功能。这样既 解决了视频会议系统与单独开发的手写笔白板系统的集成问题，也避开了重新开 发网络底层服务的大量工作。n c t m e c t i n gc o m 组件是一组成熟的用于构建视频 会议系统的工具，其提供的功能完全能够满足实现多媒体协作工作通信环境的要 求。由于本文重点论述手写笔白板系统中协同工作的有关问题的研究及解决方 案，故关于n e t m c e t i n gc o m 组件介绍及其数据通道的建立等有关内容从略。 1 2 白板系统简介 1 2 1 白板系统概述 硬件意义上的白板，是用普通干擦彩笔书写的常用白板，是相对于黑板而言 的。硬件意义上的电子白板是把普通白板与计算机技术相结合，具有存储功能和 触摸屏功能，有的还具有网络功能，称之为多媒体白板嘲。而“自板”也是一个 计算机软件术语，它是一种允许多个用户通过网络在某文档中进行工作的软件。 第一章课厝的准备工作与理论基础 该文档会同时显示在所有用户的屏幕上，就如同这些用户在同时使用一块硬件的 白板一样。这种在计算机屏幕上仿真实际白板的电子白板软件，使多个远程参与 者在他们的计算机屏幕上看到同样的显示窗口，具有w y s i w i s ( 所见即所得) 的 特性i s 。它是计算机支持的协同工作( c s c w ) 应用中的一个简单工具，也是体 现c s c w 基本特性的具有代表性的研究对象。 这种电子白板软件应该具有以下基本功能： ( 1 ) 基本的书写与绘画功能，用于参与者之间的交流； ( 2 ) 用户权限的辨别功能； ( 3 ) 操作提示和操作反馈功能； ( 4 ) 白板内容的恢复更新等功能； 一般地，基本的绘图功能包括自动绘制规则的几何形状，或者徒手作图。文 字可以通过书写或者简单的文本输入，以便傲简单的注释。有的白板中，可以对 文本和图形对象进行移动、擦除、修改、取消，尺寸变换、保存等操作。 1 2 2 白板系统的研究概况 当前市场上流行的白板般都是以专门的硬件形式提供的。如日本h i t a c h i 公司的d i g it a l b o a r d 系列、美国m ic r o t o u c h 的i b i d 系列等。这些系统一般提供专 门的显示屏幕( 共享空间) ，也提供专门的笔和擦除设备供输入和擦除，可以直 接在屏幕上写、画和擦除。系统可以独立运行，也可以通过串行口( c o m ) 或u s b 与桌面p c 连接起来。这些系统提供的功能比较强大，各用户可以比较自然地进行 协同，但需要专门的硬件和较宽的网络带宽，价格比较昂贵啊。 随着计算机的普及，基于普通p c 平台和i n t e r n e t 的白板系统也裙继出现。比 较著名的是m i c r o s o f t 与i n t e r n e te x p l o r e - - 起提供的n e t m e e t i n g 系统，该系统 可以运行于w i n 9 x 或w i n n t 上，用鼠标操作。总体上。n e t m e e t i n g 系统提供的白 板还是很成功的，但是它仍然存在某些局限。比如： ( 1 ) n e t m e e t i n g 白板提供了一些局部锁定措施，来避免冲突，但是没有提供协 同感知能力，在多用户条件下难于把图形对象与此对象的操作人相对应。 ( 2 ) n e t m e e t i n g 白板是针对鼠标开发的，还不支持数位手写板的相关参数，这 使得在此白板中，手写笔的功能不能全面发挥，只相当于鼠标的功能。 昆明理t 人学硕，卜学位论文手写笔白板系统中协同二r = 作及相关问题的研究与实现 此外，也有人用j a v aa p p e t 实现白板，在w e b 服务器上运行白板服务器， 而客户机通过浏览器下载作为白板客户程序的a p p l e t ，并与服务器连接。这种办 法利用了j a v a 的优点，客户端不需要安装，连接过程也很简单，而且与平台无 关。但是客户每次运行白板前，必须下载a p p l e t 程序，需要一定的等待时间，而 且a p p l e t 需要运行在软平台j 上，运行效率不高。这种j a v a 板也存在上述 n e t m e e t i n g 白板系统的两个明显局限性。 总的来说，目前还没有专门面向数位手写板这一即将成为计算机标准配置 设备的白板系统，现有白板只是支持简单图形的接口，还远远不能满足人们使用 个性化文字和图形进行远程交互并协同工作的需要。而问世的白板产品在协作感 知等方面也需要不断改进。但就发展前景来说，桌面型白板系统由于价格的吸引 力和使用的方便性，将成为以后白板系统研究和开发的重点对象。本课题的手写 笔白板系统在具有其它白板系统基本功能的同时，增强了绘画、书法和图形功 能，引入了手写笔的多功能表现特性，弥补了视频会议系统中声音、文字交流的 不足。下图是共享白板双方使用的示意图。 1 3c s c w 简介 图1 1 共享白板双方使用的示意图 1 3 1 c s c w 系统概述 计算机支持的协同工作( c o m p u t e rs u p p o r t e dc o o p e r a t i v ew o r k ) 简称为 4 第一章课题的准备工作与理论基础 c s c w 。c s c w 的概念是1 9 8 4 年由m i t 的i r e n e g r e i f 和d e c 的p a u lc a s h m a n 提出 来的。它的提出和实现从根本上改变了人们传统的工作方式和生活方式。计算机 支持的协同工作是一个利用计算机技术、网络通信技术、多媒体技术以及人机接 口技术，将时间上分离、空间上分布而工作上又相互依赖的多个协作成员及其活 动有机地组织起来，以共同完成某一任务的分布式计算环境。 从本质上讲c s c w 系统是通过计算机技术使处于不同地理位嚣的人们能够一 起工作，并且感觉不到地理位置上的差异。由于人们在日常工作中需要相互传递 声音、图像以及文字等多种信息，所以c s c w 系统首先是一种分布式的多媒体系 统，它能提供信息的交互式服务。c s c w 系统中，信息在各个成员之间的传递是 对等的，因此它是一种对称式的交互方式。c s c w 系统的研究对象包括多媒体电 子邮件、计算机会议系统，协同编辑以及决策系统，这些系统的共同特点都是通 过一些机制支持成组用户以某种协作方式共同完成协作任务。 图i 2 用户通过c s c w 系统协作的示意图 c s c w 的形成和发展有一定的必然性。首先，在现代的信息社会中，人们的 生活方式和劳动方式具有群体性、交互性、分布性和协作性等特点。其次，计算 机技术( 包括并行及分布处理技术，多媒体技术，数据库技术，认知科学等) 、 通信及计算机网络技术的飞速发展，形成了c s c w 实现的技术基础。勇外，并发 工程( c o n c u r r e n te n g i n e e r i n g ) 概念的提出也促进了c s c w 这一新研究领域的 形成。并发工程是集成、并发设计产品及相关过程的系统方法，它强调t e a m w o r k ( 组工作) ，而对t e a m w o r k 的技术支持是和c s c w 的研究密切相关的1 7 哺ja 因此，可以说c s c w 是现代社会中，以人们协同工作方式为背景，以计算机 和通信技术的发展和融合为基础，具有广泛的应用领域为前提条件而自然形成 的ac s c w 涉及众多的学科领域，如：计算机、管理学、通信、分布系统、社会 学、心理学、组织理论等。c s c w 体现并符合了信息时代人们工作的群体性、交 凰一 用 ，飞 弘或甩笏眦 凰 昆明理工大学硕十学位论文手写笔自板系统中协同工作及相关问题的研究与实现 互性、分布性和协同性的特征，因而日益受到人们的重视。 1 3 2c s c w 自9 要素与工作模式 c s c w 的目的就是在计算机环境下提供对人们群体工作的支持，所以，通 信、合作、协调是c s c w 的基本要素。 把计算机技术和通信技术结合起来，提供所需的通信环境，是c s c w 的基 础。而合作是c s c w 活动的形式，在群体协作活动中，任何活动都必须是多人合 作完成的，这也要求c s c w 系统具有良好的共享环境，可以在适当时候友好地通 知群组活动信息以及各个用户的活动情况。c s c w 的关键是协调。如果一个组的 活动是协调的，那么它的通信和合作将会大大得到加强，一个不能很好地进行协 调的工作组，它的成员之间势必会经常发生冲突和重复劳动。当几个部分共同组 成一个任务时，协调本身应被看作是一个必不可少的活动。 c s c w 的工作模式【9 】： 同步模式在同一地点和同一时间进行同一任务的合作方式，如共同决策、 共同编辑文件、c a d 、室内会议等。 分布式同步模式在同一时间但在不同地点进行同一任务的合作方式，如联 合设计、联合编辑、群体决策、电视会议等。 异步模式在不同时问但在同一地点进行同一任务的合作方式，如轮流作业 等。 分布式异步模式在不同时间不同地点进行同一任务的合作方式，如电子邮 件工作流、大规模开发项目的支持等。 从c s c w 的模式，我们可以看到c s c w 必须具有以下的功能和特性【9 l ： ( t ) c s c w 是一个分布式计算机系统，其分布结构可以是异构形的，也可以是 同构形的： ( 2 ) c s c w 以多媒体方式通信交互，并具有较高的实时性； ( 3 ) c s c w 具有并发处理和控制功能，可实现共享媒体的互斥互访； ； ( 4 ) c s c w 应具有良好的人一机接口和入一人接口。 1 3 。3 c s c w 系统的基本构架 在c s c w 系统所具有的特征中，“共同任务”和“菇同环境”是系统中最为 6 第一章课题的准备工作与理论基础 关键的内容，所以用户间通信、信息及空间共享和活动管理成为c s c w 系统的基 本组成部分【”。 用户间通信 c s c w 系统要为不同工作模式提供相应的通信服务，如支持多媒体通信，允 许视频、音频、共享白板的数据传送等。 共享 信息共享是协同工作的基本内容，只有方便可靠的信息采集、访问、修改和 删除机制才能促进成员之间的协作工作。也就是提供运行在不同操作平台上的不 同应用程序对数据的存储和交换；支持分布成员、信息资源及当前活动信息的维 护，便于用户寻找相应的工作伙伴，利用有关资源，参加特定的活动；提供共享 信息的不同访问方式；支持用户了解当前被其他用户使用时所做的更改。 协同工作的典型例子就是群组成员协同工作时可以使用的交流媒介，如：远 程屏幕共享系统，智能共享白板。 活动管理 由于c s c w 系统中有多个用户参与同一任务，所以必须提供相应的机制支持群 体活动。在管理中，用户之间的协调、群体工作必然涉及到个体之间的冲突，如 何在满足系统实施的基本条件下完成一项工作，是协调控制的问题。为此， c s c w 需要为个体活动和群体协调活动提供方便而合适的工作平台。为保证群体 用户的协调，可利用界面可视化技术，实际中采用比较宽松的以w y s i w i s ( w h a t y o us e ei s w h a ti s e e ) 为特征的界面共享技术，能获得比较满意的效果。同 时，为保证安全性和个体活动的需求，有时也需要c s c w 系统为用户提供能保留 一部分私有数据的功能【7 1 。 1 3 4c s o w 系统的设计方法 c s c w 目前常用的开发方法有：透明合作( c o l l a b o r a t i o n t r a n s p a r e n t ) 方 法和有意识合作( c o l l a b o r a t i o n a w a r e ) 方法两种【9 】。 ( 1 ) 透明合作方法( c o l l a b o r a t i o n t r a n s p a r e n t ) 透明合作方法的基本思路是将一个单用户应用程序不加修改地在一个用户工 作组中运行，利用远程指针( t e l e p o i n t e r ) 使多个用户能够同时一起观察该应用 程序的输出结果，或者指向多个视窗。为了实现协同操作，c s c w 系统必须能够 7 昆明理工大学硕士学位论文寻写笔白板系统中协同工作及相关问题的研究与! 垦型 把向该程序输入数据的控制权从一个成员转移到另一个成员。这种方法与具体的 应用程序无关。下图表示了这种支持工具的框架。它由四个模块组成：应用程序 共享模块( a s m ) 、音像会议模块( a v e ) 、远程指针模块( t p m ) 和共享单用户应用 程序模块( s s a ) ，它们共同受协作管理模块( c 心) 控制。 图1 3 透明式远程协作支持系统框架 ( 2 ) 有意识合作方法( c o l l a b o r a t i o n a w a r e ) 虽然透明式合作方法可以完成c $ c w 的许多功能，但是当合作成员需要特定 用户组群的反应或应用数据时，或者关系到特定用户组的特定应用程序时，这种 结构就缺乏必要的功能，这时就要采用有意识的开发方法。这种方法就是开发专 用的应用软件，直接地处理合作任务。下图表示了这种支持工具的框架。 图1 4 有意识合作方法的框架结构 这种结构包含以下子系统：声音和图像通信子系统、共享窗口子系统和有意 识合作网络子系统。系统的特点是能够把a v 传送的显式交互与其它应用软件 ( 主要表现为隐式交互) 区分开来。其中，共享窗口子系统起着重要作用。 在本课题所开发的系统中，采用的就是基于这个策略的开发路线。把a v 传 送模块与专门的手写笔自板系统分别处理，又有机地利用n e 咖e e t i i l g c o m 组件 的功能将两者结合在一起，形成多输入和多输出的协作系统。这样使整个系统结 第一章课题的准备工作与理论基础 构既能面向特定的应用功能，也易于扩展。 1 4 手写笔白板系统研究中的若干关键问题 1 4 1 手写笔白板系统的研究流程 图1 5 研究流程 本课题以软件工程方法学基本思想为指导原则，借鉴软件模块思想、面向对 象的分析与设计方法等技术，具体研究路线如下： 按照本课题的研究目的和要求，分析现有的国内外技术资料，对比了解以 后，确定基本的开发策略； 根据已有的技术成果确定白板系统的工作模式并设计面向手写板的白板系统 的基本框架和体系结构： 研究并实现关键技术； 增加白板的一些基本功能并考虑白板管理机制的解决方案； 集成能够应用于视频会议系统的，又可以独立提供白板服务功能的软件； 在测试中检验集成的软件并修改不合适的部分。 1 4 2 涉及到的关键问题 1 使用n e t m e e t i n gc o m 组件建立网络通信的数据通道： 9 昆明理t 大学硕上学位论文手写笔白板系统中协同工作及相关问题的研究与实现 2 研究手写笔多功能表现效果的具体实现方法，从而在数据通道中实现多笔型 多效果的传输： 3 解决多用户并发操作中的冲突问题，即并发互斥机制的实现； 4 研究多用户协同工作中感知问题的解决方法； 5 研究会议信息数据的处理，如保存、审核查询、再现会议过程和数据维护、 管理等问题： 6 研究图像传输的实现方法以及大数据量图形传输中的包大小、时延和图像区 域互斥的关系问题； 7 。加入会议时登陆信息和身份认涯的处理，以及对会议后形成的备忘录加入有 关手写签名的问题； 8 与课题中视频、音频模块的集成问题以及多媒体同步问题； 9 由于本课题是按照产品要求开发软件，还要考虑系统的健壮性问题。 1 0 第二二章手写笔白板系统的总体设计 第二章手写笔白板系统的总体设计 2 1 软硬件平台 本白板系统面向视频会议，可集成视频、音频模块，采用n e t m e e t i n gs d k 建 立网络数据连接，遵循手写板的w i n t a b 3 2 国际标准，使用v c + + 6 0 作为开发平 台，对终端设备要求是： w i n d o w s 9 x 或w i n n t 4 以上的操作系统； 正确安装了手写笔的驱动程序； 安装m i c r o s o f tn e t m e e t i n g2 0 以上版本； f 确的网络连接( 局域网、i n t r a n e t 或i n t e r n e t ) ； 主席机需要安装a c c e s s 9 7 或以上版本： 由于书法绘图需要，建议主频在3 0 0 m l l z 以上，内存1 2 8 m 以上，显示分辨率 8 0 0 6 0 0 以上才能获得较好的使用效果； 要使用视频、音频模块，需要配备摄像设备和麦克风、耳机等设备。 2 2 主要实现模块及其功能 目前开发的手写笔白板系统的实验版软件主要有以下几个功能模块组成： ( 1 ) 管理控制模块： 该模块集成n e t m e e t i n g 的已有功能，对整个会议的召集、加入、进行、退出 和结束进行管理。此外的功能包括： 对参加会议的用户信息进行登记； 识别用户是否具有会议主席的权限； 是否进行协作感知标示和是否使用远程指示； 对协作过程中互操作和并发互斥的控制； 对用户的签名进行处理等。 ( 2 ) 多笔型传输模块 该模块通过e d n e t m e e t i n gc o m 组件建立起网络数据通道，定义了传输数据包 昆明理工太学硕士学位论文手写笔自板系统中协同工作及相关问题的研究与实现 p o i n t x y 的格式，由此实现了针对手写笔的多功能多效果参数的传输，并使其在 所有用户的白板上再现，从而把一方与会者的书写或绘画内容及时地传送到其他 与会者的自板上。 本模块提供的功能包括： 笔的选择：包括毛笔、铅笔、钢笔三类； 多笔型选择：毛笔笔型中有普通毛笔、两种浓淡毛笔、两种枯笔等五种效果， 钢笔笔型中有等宽实线、异宽实线、等宽空线、异宽空线等四种效果； 笔宽参数、毛笔硬度参数、浓淡参数、钢笔的空线参数等绘图参数的选择； 颜色选择； 背景图案的选择； 快速绘制各种曲线和几何图形； 吸管、橡皮擦、文字输入工具( 文本编辑) 和位图存取等辅助功能。 以上各种功能既支持单机模式，也支持网络上的一对多和多对多工作模式。 ( 3 ) 聊天模块 该聊天模块采用纯文本输入方式实现聊天交流，所传输的数据是传输数据包 p o i n t x y 的一部分。 ( 4 ) 会议信息数据处理模块 此模块的功能基于会议信息数据处理的解决方案之上，只有具有主席权限才 能使用。该模块依据主席机记录的会议信息数据库，实现对会议信息的记录、查 询、再现等功能。此外，该模块还可以对手写笔的联机手写签名加以记录，并具 有一定的手写签名防伪能力。 2 3 系统的结构模型及工作流程 2 3 1 该白板系统共享机制的分析 w i n d o w s 系统是一个消息驱动的系统，因此可以使用消息共享来达到协作者 之间共同编辑的目的。如图的两台主机，h o s t l 上执行了某个功能，则一定有一 个实现此功能的消息序列，可以在传输数据包中加入此消息序列，发送到 h o s t 2 。当h o s t 2 接收到数据包后，在h o s t 2 上再执行一次此消息序列，则 1 2 第二章手写笔白板系统的总体设计 h o s t 2 上就执行了h o s t l 刚执行过的功能。 阜= = 禽h o s t 2 图2 1 消息共享示意 在实际开发中，我们在传输数据包p o i n t x y 中仅传送了必需的信息，而不是 全部的消息序列。例如，输入一个字符串用于用户登陆或者聊天，就只传送字符 串信息和相关参数，绘图时也只传送手写笔的位景和一些参数，而不是传输输入 字符串时不断产生的w m _ k e y d o w n 、w mc h a r 、w m _ k e y u p 等消息序列或者是手写笔 消息序列。这样减小了传输数据包的大小，也减小了网络负载和本地的系统负 载。 在本地机上，对接收到的传输数据包p o i n t x y 要进行的处理是根据操作分析 出数据包内的有效信息，区分包内数据的意义，如包内数据是字符值，还是绘图 的坐标点。 2 3 2 该白板系统的基本架构 在用户呼叫、登陆并加入系统之后，各用户通过n e t m e e t i n g 提供的通道进行 通信，整个体系结构如图2 2 。 用户2用户3用户 图2 2 手写笔白板系统体系结构图 2 4 该自板系统的用户工作流程 昆明理工大学硕士学位论文寻写笔白板系统中协同工作及相关问题的研究与实现 图2 3 手写笔白板系统的用户工作流程 详细说明可参考“附录b 手写笔白板软件使用说明”。 1 4 第三章协商_ 丁作中并发控制和感知阔题的研究与实现 第三章协同工作中并发控制和感知问题的研究与实现 3 1 协同工作中的并发控制问题的研究 c s c w 支持多用户协同工作，必然会发生多用户的并发操作，再加上多机之间 用网络传输共享信息，由于网络时延和传输的不可靠性，以及多用户协同之间人 的因素等原因，冲突就会不可避免地发生。 传统的并发控制方法是将并行的操作串行化或者提供加锁机制使用户只能 进行授权的操作。如分布式系统中，其一致性要求一般通过事务处理机制之间的 串行化来实现。常用的方法有二步封锁法( 2 p l ) 、时间戳顺序法、多版本时问戳 顺序法以及乐观的无锁机制法等。 在白板( 或其它c s c w ) 系统中，协作感知是多用户进行协同工作的基础，每 个用户对共享对象的操作应立即被其他参与协同工作的用户所感知，这也是白板 系统与传统并发系统的区别。另外，白板系统中，计算机的主要作用是支持人与 人的交互，人机交互是人人交互的中介，所以白板系统比传统系统更多涉及到人 的问题。在白板系统中采取何种并发控制机制和它在接口中的表现形式，都会影 响到用户对接口质量的评价和用户的实际工作方式r 刀。 白板系统的并发控制特点和它的一般需求如下； ( 1 ) 响应性实时白板系统需要实现w y s i w i s 的若享策略，w y s i w i s 对响应时 间提出了新的要求。在c s c w 中响应时间一般划分为本地响应时间和通告时间，通 告时间指所有其他参与协同工作用户响应该用户的操作而改变共享对象及其在多 用户接口中的表现形式所需要的时间。系统为实现w y s i w i s 要求接口对用户的动 作快速响应。因此，白板系统对并发控制算法的响应性提出了很高的要求。 ( 2 ) 多数据副本尽管目前不少c s c w 系统的共享对象是集中存放的，但c s c w 系 统的实时性要求和未来大范围的分布性，决定的共事数据多酬本存放才具有广泛 的适应性。 ( 3 ) 稳健性除具有传统并发系统的对节点崩溃或通信实效等错误的恢复能力 以外，c s c w 还应该关注用户的某些特殊动作，如新增用户导致系统的重构。并发 控制算法必须适应这种重构。 ( 4 ) 良好的协作感知性 由于各用户的协作感知是进行协同工作的基础，c s c w 昆明理丁大学硕上学位论文手写笔白板系统中协同工作及相关问题的研究与实现 系统对协作感知提出了很高的要求。在设计并发控制算法时，必须充分考虑协作 感知，以满足系统的要求。例如传统并发系统的事务处理机制，由于它的隔离性 要求各事务处理的中间结果不能被其他用户所感知，这显然违背t c s c w 的目标。 所以，在c s c w 中必须研究具有协作感知能力的事务处理机制。 ( 5 ) 支持用户控制机制在c s c w 系统中，协作机制和协作规则的分离是一条重 要的设计原则，目的是使用户的工作尽量少受事先定义好的规程的限制，能更自 然、灵活地进行工作。因此，c s c w 系统的并发控制机制也应遵循机制和规则分离 的原则，使用户能根据特定的协作语境( c o n t e x t ) 动态地选择共享策略，提高协 同工作的效率。 ( 6 ) 支持应用语义c s c w 语义一般比传统并发系统复杂而且对冲突搡作全部 取消也不太合适。因此，c s c w 的并发控制应能支持应用的具体语义，允许在具体 应用层次定义一致性准则，应用程序的开发者可以根据共享对象的结构和语义在 高层语言中制定并发控制的规则，这样可以提高并发控制算法的效率和系统性 能。 并发控制是c s c w 系统的关键技术之一，近年来不少学者进行了深入的研究并 取得了一些可喜成果。协作应用的两种极端方式是完全同步和完全自由。完全同 步用令牌传递的方式实现同步，会造成资源的浪费，而且也不太自然，这样就不 适合c s c w 系统。而完全自由的方式是系统不提供任何同步方式，各协作用户按照 社会协议、各自的角色分工自觉地避免并发冲突或手工消除冲突，需要c s c w 系统 实现比较详细的感知，但是过多过细的感知和通信往往会干扰用户的协同工作。 所以，c s c w 系统一般采用折中的方式 7 1 。具体实现的两大类别是加锁法和串行 化。 在我们开发的手写笔自板系统中，多用户的并发控制问题采用加锁法来实 现，这样能较快地解决并发控制问题，实现起来也比较简单，但是其目前用在白 板系统中也存在缺陷，如限制了多用户协同工作的程度，对锁的粒度 ( g r a n u l a r i t y ) 尚未进行研究确定等问题。这部分的程序实现由同课题组的研究 生殷继彬来完成，为保持本论文理论上的完整性，此处仅阐述我们共同研究并发 控制问题的理论分析，具体功能的实现部分从略。 1 6 第三章协同工作中并发控制和感知问题的研究与实现 3 2c s c w 中协作感知的理论简介 当人们在共享物理空间内进行面对面交谈时，人们可以通过视觉、听觉和触 觉等感觉通道以及人的手、嘴、眼、头和足等运动通道的互补特性达到相互沟通 的目的，人们可以方便而自然地了解到其他人的位置、动作和意图，从而提高协 同工作的效率。而c s c w 系统提供了虚拟工作空间，使远程用户协同工作成为可 能。但是在虚拟空间中的交互和感知远不如在实际物理空间中方便和有效。用户 常常希望系统能通过它提供的用户界面，为群体成员提供一个自然的、可与直接 感觉和运动通道相媲美的多感知通道【7 1 【l o i l l ”。 在c s c w 环境下，协作成员之间相互交互是通过人机，机一机，人一机三 个步骤实现的，如图3 1 所示。成员i 将自己的建议、方案、工作情况等通过人 一机接口表达到计算机中，一方面在本机上产生结果并输出显示，另一方面则通 过机一机接口和网络通信将这些信息传输到其他节点上，当其它节点收到信息 后，再由入一机处理程序显示到公共环境上。通过这种途径实现了成员间的信息 交互，而且将传统的人一机接口扩展为广义的人人接口。 成员i成员j 1 人一机接口人一机接口1 ；一l 一。 l 口i i 口f 雪桃哪期亡笪! ! i 1 百丽西广一 i 喇麓奋机 图3 1c s c w 环境下协作成员的交互 由于c s c w 系统与传统的计算机应用系统相比，它增加了人一人交互这一工 作模式。因此如何为c s c w 系统设计一个支持人一人交互的用户界面，以及该界 面的好坏直接决定了该c s c w 系统能否为用户接受，以及能否广泛地使用。因 此，在为c s c w 系统设计用户界面时，必须以用户对界面的实际需求为出发点， 使用户界面的外在形式和内部机制能符合群体交互的需求，即设计以人为中心的 用户界面 7 1 。 c s c w 系统的用户界面不仅要支持处理人机交互，而且还要处理协作行为中 的人人交互，它是一种支持群体协作的多用户接口( c m u i ：c o o p e r a t i v e m u l t i u s e r i n t e r f a c e s ) 。它不仅要实现传统单用户系统界面所要完成的诸如数据输入、 昆明理工大学硕i ：学位论文手写笔白板系统中协同工作及相关问题的研究与实现 显示、结果输出、g u i 界面支持、操作相应等功能，