（计算机应用技术专业论文）基于移动数据库的数据一致性研究.pdf

中南民族大学硕士学位论文 i 摘 要 在计算机技术、无线网络技术和通讯技术三者飞速发展的时代，各种基于移 动计算的实际应用越来越普及。在移动环境中，移动设备可以在自由移动过程中 仍保持网络连接，人们通过便携式通讯设备随时随地访问并操作共享的信息资 料。但是传统的分布式数据库由于种种因素的限制而不能有效地支持移动计算， 比如平台的移动性、网络的多样性与不稳定性、频繁断接性、通讯的非对称性, 以及电源的有限性等。为了更方便人们获取信息，针对以上这些局限性，人们对 移动计算环境中的移动数据库技术展开了研究，目前，移动数据库成为数据库领 域的一个热点研究方向。 移动数据库的研究主要包括：复制与缓存技术、位置管理、查询及其优化 技术、 安全机制、 数据广播以及移动事务处理。 移动事务处理是其中的关键技术。 移动数据库用来维护事务一致性的一种重要手段是采用复制技术，然而，移动节 点进行数据复制操作时，最关键的技术是如何保证节点间数据的一致。 本文首先介绍了移动数据库的概念、历史以及研究现状，讨论了移动数据库 系统结构及其本质特征，并着重讨论了移动数据库复制技术和同步机制。其次， 论文提出了移动节点间的数据复制同步的一种系统结构， 分析了完成移动节点间 复制同步的关键问题，并设计了一种基于日志信息块的数据复制方案，该方案将 日志信息块定义为块头和内容体这两部分结构， 为节点间的数据操作创建了操作 规则，并且通过扫描和比较日志块头中的节点状态表域、数据更新时间域的数据 值来完成复制同步过程。最后，通过 opnet 仿真实验证明，基于日志信息块的 数据复制方案能够有效地加快移动节点间的数据交换速度， 提高移动节点间的信 道吞吐率和复制效率。 关键字：移动计算；日志信息块；移动数据库；节点状态表；同步复制 移动计算；日志信息块；移动数据库；节点状态表；同步复制 基于移动数据库的数据一致性研究 ii abstract with the development of computer technique, wireless network and communica -tion technique, more and more different application of mobile computing are used in many fields. many computing operation can keep connection in different situations which are in free. people will make a net surfing with information which they like by the mobile communication devices. but traditional distributed database can not support mobile computing. it will be affected by the mobility of computing flat, frequent disconnection, flexibility of different network condition and limitation of resource. therefore, its a hotspot of database field in computing environment. the main research concludes: data replication and cache technique, query and optimizing technique, security mechanism, broadcasting data and mobile transaction conduction. meanwhile, deal with mobile transaction is the key technique in mobile database field, it use synchronous replication technique to keep the consistency. the most pivotal problem is that the technique will ensure the consistency of data when the technique is effective. in this thesis, firstly, it presents the concept, history and researching status of mobile database, as well as discusses the structure and essence of mobile database system. meanwhile, it focuses on discussing replication technology and synchronization technology of mobile database. secondly, the article illustrates a new synchronous replication model and analyses the pivotal issues about synchronous replication technique in mobile nodes. we design a synchronous replication scheme which is based on the blocks of log that is divided into log header field and data field. meanwhile, we define rules of data operating in mobile nodes. the synchronously duplicating keywords: mobile computing; log info blocks; mobile database; node-state vector; synchronous duplicating 中南民族大学中南民族大学 学位论文原创性声明学位论文原创性声明 本人郑重声明： 所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。 除了文中特别加以标注引用的内容外， 本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。 对本文的研究做出重要贡献的个 人和集体， 均已在文中以明确方式标明。 本人完全意识到本声明的法律后果 由本人承担。 作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查 阅和借阅。 本人授权中南民族大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索， 可以采用影印、 缩印或扫描等复制手段保存和汇编本 学位论文。 本学位论文属于 1、保密，在_年解密后适用本授权书。 2、不保密。 (请在以上相应方框内打“”) 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 中南民族大学硕士学位论文 1 第 1 章 绪 论 计算技术、无线通讯技术的发展和结合，使得一种新型的计算模式移动计 算模式成为现实，方便人们随时随地访问所需数据。与此同时，移动计算具备新 的特点，如移动计算平台的移动性、连接的频繁断接性、网络条件的多样性、网 络通讯的非对称性、系统的高伸缩性和低可靠性，以及资源有限性等。但是，传 统的分布式数据库中的研究都是基于有线网络和固定主机的，他们都受到固定网 络连接、对等通信代价、主机地址固定等因素的限制。因此，对于现有的分布式 数据库技术，必须加以改进或者设计出新的模型，才能更好的支持移动计算环境 中对数据的有效访问，移动数据库技术的诞生就是为了更方便地对移动计算中的 数据进行操作。 1.1 论文选题来源及研究意义 20 世纪 90 年代，无线通信技术和网络技术相结合，产生了无线局域网 (wireless local area network, wlan)技术，它是推动移动数据库技术走向实际应 用的重要力量，同时为移动通信网络构成移动计算环境的物理通信提供了坚实的 基础。移动计算和移动数据库技术具有极大的市场潜力，根据资料显示，目前全 世界每天都有近 15 万人成为新的 wlan 用户。这意味着：移动数据库的应用正 在遍布各行各业，不断地渗透到人类的日常生活，为人类的生活提供了无限的便 利。根据无线局域网协会的调查表明，wlan 的应用，极大地提高经济效益，提 高生产率为 48%， 提高企业效率为 6%， 改善收益与利润为 6%， 降低成本为 40%。 wlan 可以为移动或半移动的用户提供高效、优质、成本低廉的宽带接入服务， 在移动数据库系统环境中， 不仅可以减少对布线的需求和与布线相关的一些开支， 还可以为用户提供通信可靠的、灵活的、高吞吐量的移动信息获取方式，不再受 到传统局限的物理位置的限制。 全球无线局域网市场在 2000 年至 2004 年保持了快速增长趋势，年均增长 率高达 25%。wlan 产品受到广大用户欢迎的原因包括： (1) 随着无线技术的成熟和无线设备生产成本的降低，使用无线网的费用也 将更加低廉，这样有助于无限网络使用地普及。 (2) 无线网络性能可靠并且实施便利，技术人员利用移动转发器即可重新建 立连接，避免了有线网络的更改线路布局，甚至还要在建筑物上钻孔等操作。 (3) wlan 产品实现了移动性，用户上网将不再受到地域的限制。随时随地 对数据进行操作，操作方便及时，大大的提高了办公的效率。 从以上的优点可以看出，对移动数据库技术的研究非常有必要，但是，无线 网络给用户带来了众多方便的同时，自身也存在一定的不足。移动客户机由于受 基于移动数据库的数据一致性研究 2 到计算环境的移动性、网络断接的频繁性、移动设备资源有限、通讯链路不对称、 通信带宽小且不可靠等缺点的影响，无线网络可能使移动客户机处于长时间的等 待或断接状态，从而造成数据不一致。移动事务的处理是移动数据库的关键技术 之一，主要是为了维护数据的一致性，在移动客户机处于断接状态时，仍然支持 其对数据进行有效地操作。保持移动事务数据的一致性应该主要从以下几方面着 手： (1) 要适当地支持移动事务的本地自治，使移动客户机在和网络断开时也能 进行事务的处理和提交，并确保事务执行的正确性、数据版本的一致性。 (2) 在提高事务并发性时，应尽量避免阻塞，努力降低通信开销。 (3) 移动事务的长期性和移动性，使得移动支持站点和固定服务器之间的事 务协调更具挑战性。 以上这些问题是本课题的来源，本文对移动数据库的数据一致性进行了深入 的分析和研究，并在此基础之上提出了一种移动节点间保持数据复制时一致性方 案。 该方案能够更有效地支持移动用户在断接的状态下获取有效的数据进行操作， 降低事务的夭折率，提高整个系统的运行效率，所以本文的研究具有重要的实际 意义。 1.2 课题研究现状 从研究的角度来看，移动数据库技术是目前国际数据库界的一个重要研究方 向，有大量的学者投入到这一新兴研究领域。有关移动数据库一致性的研究，目 前的主要一些科研成果有： j.gray 提出了的两级复制机制1和我国学者提出的三级复制机制2(论文的 3.5.1 节和 3.5.2 节做了详细地阐述)。 文献3中 kistler 研究了一种乐观缓存方案，即 coda 移动文件系统中断接操 作，在重新连接时，系统根据日志记录，将移动客户机缓存数据和服务器上的数 据进行双向同步。 文献4中keller 等人提出一种基于谓词的缓存机制来支持移动客户机在断连 时的操作。 文献5中 pissionu.n 等人提出一种基于历史的预测缓存机制。 文献6提出了广播时间印方法，该方法是基于广播失效报告的方案来维护移 动客户机中缓存的一致性。此方案的不足是对数据查询请求的应答时间较长。 文献7是针对广播时间印方法存在的查询应答延迟时间较长的缺点，提出了 在失效报告的间隔周期内重复传播多次失效报告，并通过一定的策略来减少失效 报告的数据量，从根本上使移动客户机的查询响应平均延迟时间得到了缩短。 文献89提出了一种立即读模式， 这种方案能够保证始终读到最新的数 中南民族大学硕士学位论文 3 据项，充分利用了移动客户机缓存的可用性。但是，它也使移动客户机读取 到失效的数据，从而产生不必要的读延时。针对这一不足，文献作者又提出 的校验可串行化的模式(即“带更新时标的优化并发控制”模式)。该模式中 的许多校验都是分布式地交由移动客户机来完成，从而大大地减轻了服务器 的负荷量。 文献10提出了一种基于节约电能来使缓存达到一致性的方案。该方案保证 了移动客户机在获取自身需要的数据进行广播时，才处在工作状态，从而节省许 多电能。 以上这些文献对于本论文研究移动数据库的数据一致性起到很好的铺垫作 用，在这些科研成果的基础之上，本文将在第四章详细阐述一种新的解决移动数 据库数据一致性的方案。 1.3 论文的主要研究内容 本文在回顾了移动数据库的发展历史，深入分析和探讨移动数据库的现行研 究成果的基础上，提出了一种移动节点间数据复制同步技术保证数据一致性的方 案。论文围绕移动数据库技术做了以下有意义的工作： (1) 讨论了移动数据库的系统结构和移动数据库的关键技术。 (2) 详细分析比较了几种典型的移动事务处理模型，并总结它们的优缺点。 (3) 对强/弱一致性复制协议和两/三级复制机分别进行了分析和比较，基于乐 观复制方法，提出了一种新的移动节点复制同步方案。 (4) 针对本文提出的移动节点复制同步方案，运用 opnet mdeler10.5 网络仿 真工具进行了仿真，并对实验结果进行了分析。 本文的创新在于提出了一种新的移动节点的复制同步方案。该方案把日志信 息块划分为“信息块头”和“内容体”两部分结构，为节点间数据复制操作定义 了规则表，同时设计了移动节点间数据复制同步算法。 1.4 论文的结构安排 围绕着移动数据库的数据一致性研究，论文共分为四章： 第一章：绪论。概述了论文选题来源以及研究意义，论述了当前国内外的研 究情况，给出了论文的研究内容和结构安排。 第二章：移动数据库。主要概述了移动计算的体系结构、移动数据库的历史 发展以及它和传统数据库之间的区别，介绍了移动数据库关键技术和典型运用领 域。 第三章：移动事务。围绕移动事务处理技术展开，对移动事务模型进行了介 绍；论述并比较数据库两种复制方法和两种复制协议，总结其优缺点；分析了两 基于移动数据库的数据一致性研究 4 级复制和三级复制思想及意义。 第四章：移动节点的复制同步方案。提出移动节点的复制同步方案，以及对 于如何具体实现该方案做出了详细地阐述和分析，并用仿真实验来比较该方案的 性能。 第五章：结论。对全文进行了总结，并且提出不足之处，对移动数据库的研 究做了下一步的展望。 中南民族大学硕士学位论文 5 第 2 章 移动数据库 移动数据库技术涉及数据库、分布式计算、移动通讯和移动计算等多门学科 领域，是移动技术和分布式数据库技术移动计算相结合的产物。和传统数据库技 术相比，在移动计算环境中，人们利用移动设备可以灵活地在任何时间、任何地 点得到所任何所需要的数据，这样极大地方便了人们的生活和工作。正是由于这 种特有的优势，移动数据库拥有极其广阔的应用前景。 2.1 移动计算概述 2.1.1 移动计算的概念 移动计算(mobile computing)是移动通信、互联网、数据库和分布式计算相互 结合产生的新技术，它使得移动设备在无线环境下，可以不受物理限制地访问网 络数据，实现资源共享。 2.1.2 移动计算结构及特点 典型的移动计算系统由移动客户机(mobile host，mh)、无线网络单元 (wireless cell)、 移动支持节点(mobile support station， mss)、 固定节点(fixed host， fh)和固定网络(fixed net，fn)连接组成。一个典型的移动计算体系结构如图 2.1 所示 11,其中，fn 连接着两类节点：一类 mss 是配备有无线通讯接口，可以建立 并支持一个无线网络单元(如无线蜂窝单元或无线局域网单元),该无线网络单元 内的 mh 既可以通过无线链路与一个 mss 通信，起到同步服务器的功能，从而 与整个固定网络连通； 也可以接收由 mss 发送的广播信息； 另一类是不带通讯接 口的固定节点(fh)，也可称为基节点或服务器(server)，server 与 mss 可以是同 一台机器， fh 之间由可靠的高速互联网络连接在一起， 构成一个传统的分布式数 据库系统。每个 fh 维护一个本地数据库，包含通常的文件服务器和数据库服务 器，可以处理客户的联机请求，并可以保持所有请求的历史记录。一个 mss 所能 覆盖的范围称为一个蜂窝(cell)。每个 cell 的大小是不同的，取决于 mss 所采用 的具体无线通讯技术。在这样一个移动计算环境中，mh 可以通过任何一个 mss 连接到固定网络中， 通过这种方式来获取所需的信息服务， 实现其自由的移动性。 根据移动计算网络环境的实际应用，移动计算一般具有以下几种特点： (1) 移动性：即移动客户机在无线单元内或无线单元之间移动。伴随着移动 客户机的移动，许多状态信息(如：位置状态、被访问的数据状态和事务状态)也 在移动，但要求在新的区域里，仍然保持通讯的连接，数据仍可继续执行。这是 和传统网络最大的区别。移动客户机的用户数量也比传统网络环境要多，因此， 必须具有可伸缩性来提高数据处理的效率。 (2) 信道的多样性：由于信道具有突发性，信道和位置也有关，而且还存在 基于移动数据库的数据一致性研究 6 多个移动客户机竞争信道或共享信道，所以，无线信道的容量是动态变化的。 图 2.1 移动计算典型体系结构 (3) 断接性：由于移动计算环境下，提供的是一种弱可靠性的连接，移动客 户机经常出现断开或连接的现象，其中可能是主动的断接，也可能是因为外界条 件而发生的被动断接。但是，在断接的时候，仍然希望移动客户机可以进行正常 的数据操作。 (4) 通信的非对称性：由于移动客户机的发送能力要远远小于移动支持节点 的发送能力，所以，下行链路网络带宽高于上行链路网络带宽，即上传的数据流 要低于下载的数据流。 (5) 电源的局限性：移动客户机的电池通常只能维持几个小时，这也是造成 主动请求断接的一个重要原因。 (6) 移动客户机的局限性：移动客户机同时还受到通讯带宽、存储容量、处 理能力、用户界面等方面的局限。 (7) 安全性较差：移动客户机是远程访问数据库，而且移动客户机的遗失、 失窃、磁场干扰等事故，这些因素对移动计算环境的安全可靠性提出了更高的要 求。 2.2. 移动数据库概述 所谓移动数据库指的是支持移动计算环境的分布式数据库，即可随身携带的 中南民族大学硕士学位论文 7 数据库。它既是传统分布式数据库的扩展，也可以看作是客户端在没有通过固定 物理连接设备，与固定服务器节点动态连接的分布式系统。移动数据库的数据并 不是仅仅只存储在服务器或 pc 机上， 而且也存放在移动设备上， 被安装在移动设 备上用来管理和操作数据的系统就是移动数据库。通常移动数据库应用在诸如移 动电话、pda、掌上电脑、车载设备等嵌入型设备中，实现移动设备在没有与固 定的物理连接的情况下能够传输数据。因此，移动计算环境中的数据库管理系统 其实是一种动态分布式数据库管理系统，它涉及数据库技术、分布式计算技术以 及移动通讯技术等多个学科领域。 从以上的概念可以知道，移动数据库一般具有两层含义： (1) 移动客户机可以一边移动，一边访问后台数据库。 (2) 移动客户机可以带着后台数据库的数据副本移动并且操作数据。 2.2.1 移动数据库的历史与发展 在 20 世纪 90 年代，无线通信与计算机网络两者相结合产生了无线局域网 技术(wlan)。wlan 运用的标准是 ieee 802.11a、802.11b、802.15、802.16 或 欧洲 etsi 的 hiperlan 标准等，wlan 可以给移动或半移动用户提供良好的宽 带接入服务，进而取代了以双绞线为物理连接的传统网络。 国际上，从 1994 年起，国外发表了大量有关移动数据库的研究成果，近几年 开始也有少量原型系统出现。2000 年 6 月，微软正式发布了其最新一代移动嵌入 式操作系统 windows ce3.0。这个系统是围绕“任何时间、任何地点”的移动计 算这一目标而研发出来的，而且是基于 32 位设备的操作系统，其功能丰富多样、 性能灵活可靠。 目前， 移动数据库研究领域， 具有代表性的单位有:美国伊利诺伊大学芝加哥 分校、罗特格斯大学、普渡大学、美国 rutger、卡内基梅隆大学、意大利罗马 大学、 澳大利亚莫奈施大学、 日本松下公司信息技术实验室和大阪大学、 purdue 大学、 maryland 大学等等。 这些单位研究数据库的技术大致归纳为几个方面： agent 技术、查询技术、数据复制/缓存技术、数据广播、移动事务处理等。著名 的数据库经销商 oracle 公司、 sybase 公司， informix 公司以及 ibm 公司都正在推 出他们的移动数据库原型系统或研制计划，例如 oracle 9i lite, sybase sql anywhere studio, informix cloudscape, ibm db2 everyplace。 在国内，哈尔滨工业大学、中国人民大学、南京大学、国防科技大学和分布 处理国防科技重点实验室等研究单位对移动数据库技术都进行了深入的探讨和研 究，并且己经取得了非常巨大的研究成果和技术上的突破。如东北大学软件中心 开发的 openbase mini 移动数据库系统；中国人民大学的“小精灵”和“人大金 仓”嵌入式移动数据库系统；东南大学对移动事务处理模型进行了研究，开发了 移动数据库管理系统 swiftdb；国防科技大学并行与分布处理的国防科技重点实 基于移动数据库的数据一致性研究 8 验室提出的三级复制体系结构 ttr；同时，对移动计算中缓存机制，特别是缓存 的相关体系结构、缓存的替换算法、缓存的一致性和缓存内容，进行了比较详细 的研究。 调查显示，随着便携式计算机和智能设备中软件应用的不断增加，越来越多 的用户倾向于选择 wlan 技术产品， 全球移动数据库市场的销售急剧增长， 移动 计算技术推动了移动数据库产品的同时，移动数据库产品也促进了移动计算的广 泛运用。所以 ibm db2、微软 sql server、oracle、informix 以及 sybase 这些大 公司都相继推出相应的产品。例如 oracle 公司的 mobile agent 可以支持移动计算 机访问数据库，通过引入 mobile agent 将传统的 c/s 结构扩展应用到移动计算环 境，形成了 c/a/s 的三层无连接结构，agent 位于固定网络中，可以与服务器位 于同一台主机上；informix 公司移动计算解决方案中提出一个基于消息的移动中 间件(middleware)，此中间件负责建立各种有线或无线数据传输的通道； sybase 与其它公司不同，它采用数据复制技术来支持移动计算，相继推出了 sybase sql anywhere 和 sql remote 两种产品。 目前的移动通信技术分为以下几种：低功率系统、移动卫星通信系统、数字 集群无线通信系统、无线局域网和蜂窝通信系统。最近的“蓝牙”标准也可以归 为无线局域网一类中。其中，蜂窝通信技术已经发展到第三代，第二代蜂窝通信 系统仍然处于被广泛使用当中，而第三代蜂窝移动通信网络，即 3g 技术，将成 为未来几年内无线通信的重心。全球第三代移动通信系统标准中，被国际电联正 式批准的有三个： 第一个是美国高通公司的 cdma2000； 第二个是欧洲由爱立信、 诺基亚等公司推行的 wcdma；第三个则是中国大唐公司与西门子等公司倡导的 td-scdma 系统。 在过去的 10 年里， 移动计算技术得到飞速的发展， 并在越来越多的领域中发 挥着不可替代的作用，可以预测在不久的将来，随着应用需求的推动、通讯技术 的发展、硬件技术的进步以及相应软件技术的发展，移动数据库必将成为未来信 息技术的重要研究领域，对人们操作数据的方式产生深远的影响。 2.2.2 移动数据库与传统分布式数据库的主要区别 从以上移动计算的几个特点来看，虽然移动数据库是分布式数据库的推广， 但它也是分布式数据库的一种特殊形式。传统分布式数据库的很多技术可以应用 到移动数据库当中。但是，移动数据库与传统分布式数据库之间依然存在很多关 键的区别，如下所述的几点： (1) 应用程序：应用程序需要适应可变的系统环境，它可能是和位置相关的。 (2) 事务处理：能够具有描述移动性新的事务模型，且处理事务的过区切换。 (3) 数据复制：弱一致性或可变一致性，频繁的断接，致使移动客户机的缓 存更新必须采用新的技术来维护数据的一致性。 中南民族大学硕士学位论文 9 (4) 查询处理：针对网络条件的变化，网络带宽和电源电力因素，在查询时 的移动性， 致使查询结果可能返回到不同的位置， 这就需要可适应的技术来现实。 (5) 故障恢复：由于频繁的断接现象不再认为是网络故障，所以，需要更多 的日志记录来使故障恢复。 (6) 硬件移动设备：移动客户机的处理能力与存储能力相对于服务器来说非 常有限，而且它具有移动性，还经常与服务器断接。 (7) 数据库管理：移动数据库的数据库管理应具有自动恢复功能，并能够提 供数 据的备份和恢复，从而保证数据的安全可靠性； (8) 通信协议：移动数据库应能够支持多种通信连接协议，比如通过串行通 信、蓝牙、红外传输、tcp/ip 等多种连接方式实现本地移动数据库和主数据库服 务器之间的连接； (9) 多种嵌入型操作系统：移动数据库应能够支持 windows ce、palm os 等 目前流行的嵌入型操作系统，使操作具备移动性。 总之，许多在传统数据库计算环境下不需要考虑的问题，却在移动数据库中 需要解决，比如支持对频繁的断接操作、支持对跨区长事务的操作、支持对位置 相关查询的操作、支持对查询优化的特殊考虑以及对提高有限资源的利用率和对 系统效率的操作等等。为了有效地解决这些问题，更好地支持移动数据库系统中 用户对数据的访问，人们或者在已有的分布式数据库技术中加以改进，或者引进 新的技术。例如：复制与缓存技术、数据广播技术、移动事务处理、移动信息发 布技术、 移动查询处理与查询优化、 位置相关的数据处理及查询技术、 移动 agent 等技术，这些技术也仍在不断的发展和完善。研究支持移动计算的分布式数据库 技术，即移动数据库技术，已成为当前数据库技术中的一个重要的研究方向。 2.3 移动数据库关键技术 移动数据库涉及的理论和技术涵盖了当今通信和计算机发展的最新成果，是 非常前沿的新技术，其中在移动环境下如何进行数据管理是实现移动数据库的关 键。下面简要地介绍几种移动数据库的关键技术 12-16。 2.3.1 复制与缓存技术 移动数据库复制技术是基于多个节点间维护数据备份的技术，它包括基节点 之间的复制和移动节点上保存数据的复制。一般情况下，基节点之间的复制是复 制技术，移动节点上保存数据副本的复制，称为缓存技术12。复制的目的是为了 提高移动数据库的可用性、可靠性和访问性能。 理想的移动数据库应满足以下四个目标：可用性(availability)和可伸缩性 (scalability)、移动性(mobility)、可串行性(seriality)、可收敛性(convergence)，由 基于移动数据库的数据一致性研究 10 于这四个目标决定了移动计算的环境应该满足一种乐观复制方法，即系统允许移 动客户机在断接的情况下对本地副本进行存取并提交，从而造成整个系统短暂的 不一致；等到重新连接时再进行数据同步处理，将移动客户机上所做的数据修改 上传至固定主机上，同时将固定主机上所做的修改下传到移动客户机，从而使整 个系统收敛一致性状态。 复制技术的首要问题是如何维护多个复制节点上数据的一致性，而且还必须 进行一定的冲突处理，用来解决系统在多个复制上对同一数据对象执行了冲突操 作。 典型的复制机制有两级复制机制1、 三级复制机制等2， 他们具有特定的优势， 同时存在着一定的不足，这两种复制技术将在文章的 3.5 节做详细地阐述。 2.3.2 数据广播技术 由于移动客户机无法准确地预测其在断接时可能需要什么数据，其存储的缓 存副本又是有限的，不能完全解决数据的需要；同时，移动客户机上行的链路网 络宽带要远远小于服务器下传的链路网络宽带，移动客户机接收数据的开销也远 远小于发送数据的开销。因此，当移动客户机频繁地请求最新的数据时，利用传 统技术来实现数据的集中收敛是很困难的。然而，运用数据广播技术可以有效地 帮助移动用户不受时间和地域的限制方便地完成请求/交换数据的操作。 即使移动 客户机处在断接状态的情况下，事先无法知道某些数据的存在，服务器仍然可以 把大多数移动客户机访问最频繁的“热点数据”组织起来，利用网络的非对称性， 以周期性的广播形式提供给这些移动客户机访问，这就是数据广播技术13。 数据广播技术使移动客户机以最小的代价进行有选择地接收数据，从而提高 查询效率，与传统的联机数据请求方式相比，其主要具有以下优点： (1) 良好伸缩性：广播技术可以以较小的开销来满足大规模移动用户同时访 问数据请求，这种开销不会受到接收广播的移动用户数量的影响。 (2) 缓存要求低：移动客户机可以依赖接收广播的数据，而不需要预测未来 数据请求，从而减少数据缓存要求，甚至取消数据缓存。 (3) 收敛一致性：移动客户机能够及时的取得最新数据，执行有效的操作。 即使处于断开状态时，数据长久没有更新的前提下，也可以接收到广播提供的最 新下行数据。 (4) 减少服务器的访问量： “热点数据”被周期性地广播提供给所有的移动客 户机，从而大大减少了移动客户机与服务器之间的上行网络通信，缩短了访问时 间，提高了执行效率。 数据广播技术存在众多优点的同时，也存在着一定的局限性，这种局限性体 现在：每个广播周期只能广播一部分数据，它可以满足大部分移动用户的需求， 但无法满足个别移动用户的“非热点数据”需求，这很可能造成这些个别用户会 因为请求非热点数据，而花费更长的时间处于等待状态，从而占用大量的通信资 中南民族大学硕士学位论文 11 源，降低通信的效率。 2.3.3 查询优化技术 在移动计算环境中，由于移动客户机的位置的不断变化、网络频繁的断接、 数据库服务器负载的不均衡等因素的存在，无疑增加了移动数据库查询优化和事 务处理的难度。移动数据库中的查询和更新操作可能会受到地理位置的影响，即 便对于同一种操作，移动用户处于不同的地理位置，都有可能会得到不同的查询 结果。当前关于移动查询优化的研究主要还是依赖于传统的分布式固定网络，通 过在传统的固定网中设立相互连接的位置服务器，并且使得每个位置服务器与一 个移动支持点连接， 这样就可以保证系统获得准确的统计信息和当前的准确状态， 有效地支持移动查询。通过移动查询优化技术，也可以减少查询所花费的相应时 间，使系统整体效率有所提高15。 2.3.4 移动事务的安全性 处于非固定工作环境中的移动客户机在具有移动性和便携性优点的同时，也 给系统安全带来一定的问题。不法分子可以通过侦听和发射无线电波来获取合法 用户通信时传播的数据，这样会对整个系统安全造成威胁，同时也很难被察觉。 因此，数据的无线传输与固定线路的数据传输比较起来，其安全性相对较低，容 易造成合法用户信息的丢失和被欺骗。因此，保证移动事务的安全性将是移动通 信的重要方面，其体现在以下几点16： (1) 对移动客户机进行认证，以防非注册移动客户机的欺骗性接入网络，为 远程存取数据提供身份鉴别。 (2) 对无线网络路径实施加密，在通过一个安全的连接中，以防第三方盗用。 (3) 对移动客户机提供身份保护，以防其位置泄密和被跟踪。 (4) 对下载的数据副本进行加密存储，以防移动终端物理丢失后的数据被泄 密。 (5) 对于移动客户机，其操作系统被特别安装在一个芯片里，这样可以防病 毒侵害。 2.3.5 基于日志法的捕获技术 日志记录了数据库系统中的各种事件，按过程划分，可将数据库复制同步分 为三个阶段，分别为变化捕获、分发和冲突检测与解决。变化捕获是指获取源数 据更新的信息，即获取待同步的数据对象，这是数据库同步复制的前提。常用的 捕获方法有：基于触发器法、基于快照法、基于日志法、基于 api 法等。图 2.1 给出了基于日志法的捕获技术原理17-18。 基于移动数据库的数据一致性研究 12 2.4 移动数据库的典型应用 在几年前，也许很少的人听说过移动数据库的概念，但是，现在它的应用领 域已经非常广泛了。随着便携式计算机和智能设备中软件应用的不断扩张，全球 移动数据库市场的销售也将急剧增长。目前已经或者正在投入使用的移动数据库 技术主要有下面的几种: 模拟蜂窝通信系统，数字蜂窝通信系统，无限局域网， 卫星服务、红外技术等等。以下将简述几种典型的运用移动数据库的领域 19： (1) 接收公共信息：在移动计算环境中，大量的移动用户通过移动设备的无 线通讯接口接收股票行情、天气状况和交通信息等各种公共信息。 (2) 减少中心服务器的负载：当存在大量的访问请求时，中心服务器常会处 于非常繁忙的现象，从而容易导致产生性能的瓶颈。但运用移动设备保存的部分 数据，可以将很多功能就能直接在移动设备端完成，减少中心服务器的压力。 (3) 操作实时数据：比如使用移动设备可以随时随地查询最新的数据资料， 并完成对数据的有效操作，跟总服务器之间的互动双向更新。这种模式克服了传 统数据处理方式的缺点，使操作更便捷，提高数据管理效率。 (4) 随时获取信息：使用移动办公系统处理公文审批、人事管理、财务审核 等管理工作。 (5) 位置相关的查询：移动设备通过无线通讯接口可以查询到所处的位置及 和位置相关的信息。这与传统的数据库查询有所不同，同样一个问题在不同的地 理位置得到的答案可能是不同的，因为问题查询的结果是与位置相关的。 (6) 未来战场的应用：在军事领域，构建数字化战场成为胜败的关键。例如： 作战时，需要随时随地的获得所在战区的地形、气象、敌情等有利的最新资料； 整顿军队时，需要用移动设备管理庞大军队战士的信息；医疗中，需要用移动设 备及时查询士兵的病历和健康状况，也需要通过移动设备及时和后方医院取得联 bd ddl 命令 数据库服务器 日志文件 变化 序列 图 2.2 基于日志法的捕获技术 中南民族大学硕士学位论文 13 系等等。 此外，移动数据库技术结合 gps 技术，应用在智能交通管理领域、大宗货物 运输领域以及消防现场作业领域都有着广阔的前景。 基于移动数据库的数据一致性研究 14 第 3 章 移动事务 在传统的数据库中，事务是用户定义的一个数据库操作序列，这些操作要么 全做，要么全不做，是一个不可分割的工作单位。用户应用程序以事务作为基本 单位实现对数据库的访问，主要用于支持多用户的并发访问，用来维护数据一致 性，从而使这些用户能有效地操控数据库。 在移动数据库系统中，移动事务处理一个重要任务就是维护数据一致性，从 本质上来说就是维护复制服务器之间的一致性，也就是维护数据库系统中数据对 象的一致性。由于移动计算环境具有低带宽、长延迟和频繁断接等特性，所以， 移动事务处理要比传统数据库中的事务处理更复杂和灵活，而且也更容易出错。 3.1 事务特性 传统事务处理必须满足 acid 特性，即原子性(atomicity)、一致性 (consistency)、隔离性(isolation)和永久性(durability)。在移动计算环境下，移动事 务是移动计算环境下的基本元素，是移动客户机发出来的一种分布事务。移动事 务的处理的一部分在移动客户机上完成，而其他部分则上交给固定服务器完成。 所以，处于移动计算环境中，移动事务不能严格地遵守 acid 特性，并具有以下 特点： (1) 移动性：移动事务状态随着移动客户机的移动而移动，被访问的数据对 象的状态和位置状态等也在移动，而且此移动事务在新无线网络里仍然可以继续 执行，并保证数据一致。 (2) 长事务：由于诸多因素可能导致移动客户机处于断接状态，这期间移动 事务通常都是长事务。 (3) 易错性：移动状态下，移动事务可能在多个无线网络中执行，在不同的 移动支持节点上开始和结束。所以，相比传统的固定网络，更容易出错。 (4) 异构性：移动事务在执行时，可能要访问更复杂灵活的异构数据库系统。 鉴于以上四点特性，需要在移动数据库中采取特殊的处理方式来处理移动事 务，这点将在 3.1 节做详细阐述。 3.2 移动事务技术 通常，一个移动事务处理系统要满足四个要求： (1) 支持移动客户机的断接操作。 (2) 能够有效地利用无线通讯有限的网络带宽。 (3) 针对不同的连接变化，能够主动采取不同的处理方式。 (4) 支持网络的局部变动。 中南民族大学硕士学位论文 15 因此，处理移动事务需要克服移动事务的频繁断接、数据通信时产生的不一 致、事务冲突等缺陷，尽量减少消息传递的数量和处理事务的时间，从而提高整 个系统的吞吐率和通信率。移动事务的解决技术主要可以归纳为以下四点，以下 将分开进行讨论。 3.2.1 移动主机频繁的断接 移动主机的断接可分为主动断接和被动断接两种，主动断接是用户根据移动 设备资源消耗情况或者工作情况，而主动申请与网络断开连接。被动断接是因为 没有网络信号或者弱连接的不可靠性，而导致移动主机和固定服务器失去连接。 针对这两种不同的断接，可以采取以下解决方法。 (1) 主动断接时：如果主动断接发生在移动事务开始之前，那么就可以采用 脱线工作模式，运用移动数据库中常用的预先断接操作；如果主动断接发生在事 务的执行过程中，那么就必须强制执行，将移动事务的执行状态迁移到移动主机 和固定服务器上继续执行，运用强制性断接操作。预先断接操作，可以先从服务 器上下载移动事务执行时所需的数据集合到移动主机，并用这些数据集合更新移 动主机上的副本，接着可以执行该移动事务；相比较而言，强制性断接操作要复 杂许多，除了下载移动事务执行时所需的数据集合到移动主机上，还要维持事务 的状态信息数据，以确保该事务的执行正确性。一个移动事务被基站的全局事务 管理器(tgm)分为若干与位置状态相关的子事务，强制性断接操作必然会使正在 执行的子事务产生回滚(rollback 或 flashback)，这样会导致整个网络的拥塞。为 了避免造成这种拥塞现象，事务在执行时要记录验证信息和日志信息，在移动主 机重新连接上后，方便进行局部事务的验证，尽量减少回滚的子事务。 (2) 被动断接时：移动计算环境中，事务被动断接时，这种现象将不再被视 作网络故障，而是属于正常现象，此时可以仍然需要对事务进行操作。但是，由 于之前的在线操作被中断，使得服务器暂时无法与移动主机进行通讯，这势必会 造成大量事务状态和资源被锁定，系统的性能和可用性也将降低。解决被动断接 状态的方法是在基站的 tgm 上执行超时协议(timeout protocol)， 设定了一个超时 阀值用来检测移动主机是否还处在连接状态。如果网络断开时间超过当前定义的 阀值，那么将终止移动事务的执行，并取消该移动事务对数据库的更改(利用 rollback 或者读日志回滚方法)。当重新连接时，再将状态通知给移动主机。 3.2.2 事务的一致性 移动数据库在实际应用时，必须解决好数据的一致性，即复制性。移动事务 一致性是指事务执行后，任意基节点和移动节点的数据和该事务执行的结果保持 一致，即维护系统中数据对象的一致性7。目前，研究者提出多种移动事务管理 机制来支持移动客户机处于断接时仍可以操作，并维护数据的一致性。解决事务 基于移动数据库的数据一致性研究 16 的一致性的主要技术有： (1) 采用弱一致性数据复制(将在 3.4.2 节将详细论述)使系统保持一致性； (2) 服务器采用延迟收敛性算法，将更新的事务异步传播给网络其他复制节 点，最终使得所有复制状态收敛于一致； (3) 在任意读/任意写的复制模式，对写操作进行依赖性检查，可以检测出更 新异常的冲突，维护系统数据趋于一致。 3.2.3 事务冲突 考虑了移动客户机常处于断接状态， 在允许移动客户机事务本地自治的同时， 也因为存取本地副本事务操作，带来了数据的暂时不一致，当重新连接上时，就 不可避免引发数据冲突问题。经分析得知主要有三种造成冲突的原因： (1) 更新冲突：由于移动客户要在断接时，多个数据副本可能同时对同一数 据对象进行了数据的不同更新，从而引发了冲突。 (2) 读集冲突：移动客户机读取过的数据在断接时段里被修改了，造成事务 读到过时的数据，致使事务执行错误。 (3) 运行时的冲突：当事务被提交到服务器重新执行时，可能违反了数据一 致性操作的规则，破坏了事务的完整性约束。 如果事务冲突不能检测出来并执行有效地处理，那么就很容易形成脏数据， 轻则影响事务执行的正确性，重则可能导致整个系统崩溃。因此在移动客户机和 主服务器之间应该设置移动事务协调器，进行全局检测并解决冲突，冲突检测的 方法有：基于版本号(时间戳)的检测方法、读集和写集的比较检测方法、基于语 义冲突检测方法等等。解决冲突的方案根据冲突的具体情况按照事先预定的原则 和方法决定事务的回滚，比如时间顺序法、特权法、协调法、随机法等等。其中， 利用时间顺序法能比较方便通过判断事务发生的顺序，从而地消除事务冲突，但 是该方法全局提交率低。如果种种方法都无法消除的冲突，为了让维护系统正常 的运行，