（计算机应用技术专业论文）移动olap系统的研究与实现.pdf

摘要 随着网络信息技术、移动通信技术以及移动数字终端技术的快速发展，移动商务应用越来越广泛， 尤其在企业级的应用更是前景无限。o “廿( o n l i n ea n a l y t i c a lp r o c e s s i n g ，联机分析处理) 作为一种 流行的多维数据分析技术，可帮助决策人员和高级管理人员对数据做出快速、一致的分析，起到辅助 决策的作用，已被广泛应用于各种决策支持系统。如果将二者结合起来，将o l a p 应用到移动设备的 嵌入式系统中，使得用户能够随时随地的获取企业相关信息，实现移动决策，将具有广阔的应用前景。 本文基于课题组承担的国家8 6 3 项目一基于移动数据库系统的企业移动管理技术研究与开发， 研究与实现其中的移动o l a p 子系统一s 、i 的u 心系统，以支持企业移动管理中的移动决策支持需求。 在s w i f l o l a p 中，不但实现了网络互联情况下的联机o l a p 操作，而且在网络不稳定的情况下， 利用本地嵌入式数据库系统s w i f t d b 的数据管理功能，自主的完成本地的o l a p 操作，使得无论网络 连接与否，系统均能正常运行。 针对o l a p 分析和移动环境的特殊性，本文讨论了移动环境下s w i f t o l a p 的同步处理机制，给出 了需要实现的同步功能、相关的同步协议以及针对联机时数据传输效率的改进策略：选择性分段传输 及本能地存储策略。本文引入了语义对象的概念，以提供给用户统一、直观的操作界面，隐藏数据模 式的底层技术细节，屏蔽联机o l a p 和本地o l a p 数据源的不同对用户端的影响。最后，针对移动设 备可视化的特殊性，本文基于t a b l el e n s 可视化技术，给出了适合在移动设备上显示的可视化算法， 并在可视化界面上，实现了统计图表和基本o l a p 操作( 钻取，旋转等) 功能。用户通过s w i f t o l a p 可以方便、快捷的进行各种o l a p 操作，获取直观的分析结果，帮助决策。 关键词：s w i f t o l a p ，移动环境，联机o l a p ，本地o l a p ，语义对象，o l a p 可视化 a b s t r a c t a st h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g i e so fn e t w o r ka n dm o b i l ec o m m u n i c a t i o n t e c h n o l o g i e s ，a sw e l la sm o b i l ed i g i t a lt e r m i n a lt e c h n o l o g y , t h ea p p l i c a t i o n so fm o b i l eb u s i n e s s ，p a r t i c u l a r l y i nt h ee n t e r p r i s e - l e v e la p p l i c a t i o n sa r eu n l i m i t e dp r o s p e c t s o l 心( o n l i n ea n a l y t i c a lp r o c e s s i n g ) ，a sa p o p u l a rm u l t i - d i m e n s i o n a lb u s i n e s sa n a l y s i st e c h n o l o g y , c a nh e l pp o l i c ym a k e r sa n ds e n i o rm a n a g e r sf o r q u i c ka n de x a c ta n a l y s i so fd a t a ，o l a pp l a y sas u p p o r t i n gr o l ei nt h ed e c i s i o n - m a k i n gw h i c hh a sb e e n w i d e l yu s e df o rv a r i o u sd e c i s i o ns u p p o r ts y s t e m t h e r e f o r e h o wt or e a l i z e0 l a pi nm o b i l ee n v i r o n m e n ti sa v e r ym e a n i n g f u la n du s e f u la p p l i c a t i o nt or e s e a r c h r 玎l i sp a p e ri sm a i n l yb a s e do nt h en a t i o n a lt e a mo fh i g h - t e c hr e s e a r c ha n dd e v e l o p m e n tp l a n ( p l a n8 6 3 ) - ”r e s e a r c ha n dd e v e l o p m e n to fm o b i l et e c h n o l o g yb a s e do nm o b i l ed a t a b a s em a n a g e m e n ts y s t e mi t 9t h i s p a p e rm a i n l yd o e sr e s e a r c ha n dr e a l i z a t i o no f am o b i l eo l a ps y s t e m ：s w i f t o l a p s w i f l o l a pi sb a s e do nt h em o b i l ed a t a b a s em a n a g e m e n ts y s t e m s w i r d bw h i c hh a sb e e nw e l l i m p l e m e n t e di nt h em o b i l ee n v i r o n m e n t t h i sp a p e rr e a l i z e st h eo l a pa n a l y s i so p e r a t i o nb o t hi na n do u to f t h en e t w o r kw i t ht h es a m ee n d st ob s e r st oe l i m i n a t et h ed i f f e r e n c e sb e t w e e no n l i n e0 l a pa n dl o c a l0 l a p s oi tc a ns o l v et h ei n s t a b i l i t ya n dl i m i t e db a n d w i d t ho f m o b i l ee n v i r o n m e n tw e l l t h i sp a p e rd i s c u s s e ss y n c h r o n i z a t i o nm e c h a n i s mo fs w i f l o l a pf o rc o n s i d e r i n gt h ef e a t u r e so fo l a p a n a l y s i sa n dm o b i l en e t w o r k i tg i v e st h ea s s o c i a t e df u n c t i o n sa n dp r o t o c o lo fs y n c h r o n i z a t i o n i ta l s o d i s c u s s e ss o m er e l a t e dp e r f o r m a n c ei m p r o v e m e n ts t r a t e g i e s t ob em o r ep r a t i c a l ，s w i f l o l a ph a st h ec o n c e p t o fs e m a n t i co b j e c t ，u s i n gt op r o v i d eu n i f i e d ，i n t u i t i v ei n t e r f a c et ot h eu s e r s ，h i d i n gt h ed e t a i l so ft h eb a s ed a t a a n ds h i e l d i n gt h ed i s t i n c t i o n sb e t w e e nd i f f e r e n td a t as 0 1 1 r c eo fo n l i n e0 l a pa n dl o c a lo a l pf o rt h ec l i e n t f i n a l l y , 、) l ，i t l lt h ep a r t i c u l a r i t yf o rm o b i l ed e v i c e sv i s u a l i z a t i o n ，t h i sp a p e rg i v e st h es u i t a b l em e t h o d so f v i s u a l i z a t i o nf o rm o b i l e0 l a pb a s e do n 仉l b l el e l l sv i s u a l i z a t i o nt e c h n o l o g y f u r t h e rm o r e u s e r sc a na c h i e v e t h es t a t i s t i c a lc h a r t s ，a n dt od ob a s i co l a po p e r a t i o n s ( d r i l l i n g ，r o t a t i o n ，e r e ) o nt h ei n t e r f a c e w i t hs w i f l o l a p u s e r sc a nd oo l a po p e r a t i o na n dc a r r yo u tt h er e s u l tc o n v e n i e n t l ya n dq u i c k l yi n m o b i l ee n v i r o n m e n tt oh e l p k e yw o r d s ：s w i f l o l a p ，m o b i l ee n v i r o n m e n t ，o n l i n eo l a p ，l o c a lo l a p ，s e m a n t i co b j e c t , o l a p v i s u a l i z a t i o n i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 研究生签名：趋礁 e l j 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：二午l 导师签名： 务主器 日 第1 章引言 1 1 研究背景 第1 章引言 随着网络信息技术和移动通信技术，以及个人数字助理( p e r s o n a ld i g i t a la s s i s t a n t ，p d a ) 、智能 手机( s m a r t p h o n e ) 等移动数字终端技术的快速发展，移动商务【l 】应用发展如火如荼。这是一种应用 服务创新，一种商务模式创新，更是一种管理模式创新。实际上，移动商务不仅改变了信息获取的速 度和方式，更改变了商务对接、合同签订、货款交割、库存管理、流动性车辆调度、移动目标的追踪 和查询等固有方式，给传统的营销管理、企业管理带来了巨大的变革。 据业内人士预计，2 0 0 7 年全球将有近3 亿用户接触并使用移动商务。而来自移动商务的收入也将 超过2 5 0 亿美元，约占全球移动通信市场总收入的5 0 【2 】以上。移动商务自1 9 9 9 年引入国内，随着智能 手持终端的迅速发展，行业应用市场以其用户数量多、忠诚度高、业务量增长稳定、市场潜力巨大等 优势代表了未来移动增值业务的发展方向。因此，行业移动解决方案市场正在逐渐发展成为移动增值 业务新的重要增长点。而3 g 、4 g 等新一代移动技术的应用将进一步促进通信产业的资源丰富与整合， 催生更多丰富多彩的商务运营新模式。 企业是社会经济的核心，企业级市场无疑将成为移动商务应用的主战场。让企业级商业活动移动 起来，无疑将进一步降低企业的运营和交易成本，促进企业间商务交易的繁荣。移动商务通过集成无 线局域网络、移动通信、掌上电脑和条形码识别等技术，让酱通的库房材料员利用移动终端即可将每 个货物的信息实时反映到管理系统中，让每个业务人员无需回到办公室即可完成生产通知单下达、生 产进度跟踪和成品发运等_ t 作。此外，移动商务应用在公安、武警、消防、人防、防洪抗灾和森林防 火等公共部门，可以将大量的现场情况实时传送至管理中心部门。企业级市场千差万别，容易催生更 加丰富的移动商务应用。帮助企业实现低成本交易、便捷工作将推动移动商务扎根企业级市场。无论 用户还是厂商，都将受益于移动商务这座金矿。 1 9 9 3 年，关系数据库之父e f c o d d 提出联机分析处理i j j ( o n l i n ea n a l y t i c a lp r o c e s s i n g ，o l 垤) 的概念。简单地说它就是针对特定问题的联机数据访问和分析。通过对信息的多个角度( 维) 进行快 速、一致、稳定地交互式的存取，对数据进行多层次、多阶段的分析处理，以获得高度归纳的分析结 果。联机分析处理是一种自上而下、不断深入的分析工具。决策分析需要从不同的角度观察分析数据， 以多维数据为核心的多维数据分析是决策的主要内容。多维数据库是以多维方式组织数据的。应该说， o l a p 工具是为了满足更高效地进行多维分析的需求而产生的，其主要功能是根据用户所选择的分析 角度，事先计算好一些辅助结构，以便在查询时能够尽快抽取到所需要的记录，尽快地计算分析的结 果，并快速地从一维转变到另一维。这样一来，用户就可以在短时间内从各种不同的角度审视业务的 经营情况。作为一种流行的多维数据分析技术，o l a p 工具已被广泛地用于各种决策支持系统中。 移动商务和o l a p 技术已趋于成熟，彼此独立的应用也非常广泛和成熟，如果将二者结合起来， 将o l a p 应用到移动设备的嵌入式系统中，使得用户能够随时随地的获取企业相关信息，实现移动决 策，将具有广阔的应用前景。 本文主要是基于课题组承担的国家8 6 3 项目一基于移动数据库系统的企业移动管理技术研究与 开发，研究与实现其中的s w i f i o l a p 子系统，以支持企业移动管理中的移动决策支持需求。该课题 以东南大学计算机学院自主开发的移动数据库系统s w i f t d b 4 为核心，与江苏省金思维信息技术有限 公司的企业资源计划( e r p ) 产品j s e r p 整合，形成完整的企业移动管理解决方案，为用户提供一种 全新的企业移动管理模式，将移动终端与整个企业信息系统融为一体，使用户摆脱传统桌面终端的束 缚，随时随地获取并处理企业业务信息，提高工作效率，人人拓展企业信息系统的时空覆盖范闱。 东南大学硕士学位论文 1 2 需求分析及研究现状 1 2 1 移动环境下o l a p 需求和特点分析 考虑到移动设备与移动环境的特点，与传统的p c 上的o l a p 工具相比，基于移动数据库的查询 分析工具在需求上主要有以下特点： 1 适应通信资源有限的计算环境 首先，由于移动设备火都是通过无线网络与中心服务器连接的，带宽有限且稳定性不够，因此， 移动环境下的o l a p 不仅要在联机情况下可以执行，在与网络断接后，在本地仍然需要可以执行，以 屏蔽网络断接给操作带来的影响，提高系统的实用性。同时，有些移动通信网络的费用相对较高，通 过对本地执行的支持，可以减少通信量，降低通信费用。并且，移动环境下，带宽比有线环境下要小， 需要对传输数据进行相应的处理，提高传输效率。 2 在小屏幕上显示友好界面 与p c 机相比，移动o l 廿的用户可视化界面有很多限制，首先，由于移动设备的显示屏很小， 而o l 心通常需要显示大量的数据，因此，必须选择合适的技术来在有限的屏幕上尽可能的合理的显 示数据。同时，移动设备的屏幕的象素也比较低，提供的颜色比较少，设计时需注意到这些问题。 3 在计算资源有限的条件下优化性能 虽然现在的移动设备的处理能力得到很大的提高，但对于查询分析而言，其与p c 机处理能力的 差距仍然是个很大的问题，因此，在移动端执行的相关操作需要考虑其消耗的资源，在移动端需要尽 可能的减少o l a p 操作所涉及的数据量，争取以最少的操作达到让用户满意的结果。 1 2 2 移动环境下o l a p 技术的研究现状和问题 目前，p c 机上的o l a p 分析技术已经非常完善了，但基于移动设备的o i 。a p 工具由于在需求上 需针对移动设备的特点( 如屏幕小，内存小，与网络的断连等等) 来完成设计与实现，相对于p c 机 而言，技术尚未成熟，研究与应用相对较少。对于移动设备上的o l a p 研究已有诸如h a n d o l a p l 6 1 ， m o b i l eo l a p t 5 】等等。在文献【6 】中，提出适合于掌上设备使用的o l a p - 丁具- - h a n d - o l a p 的概念，在 该文章中主要分析了移动环境下，掌上o l a p 工具所面临的各种局限，提出了掌上o l a p 实现的一个 方案。在h a n d - o l a p 中，移动端设备相当于是b s 模式下的浏览器，将从服务器端获取的o l a p 数 据压缩后显示在移动设备终端上，文献【6 】给出了移动环境下o l a p 实现的整体架构，并重点讨论了基 于q u a d 缸优算法的数据立方体压缩技术，将复杂庞大的多维立方体数据压缩为近似的二维数据，以减 少所需传输的数据量，提高传输速率，同时便于实现数据的二维显示。 文献【5 】给出了m o b i l eo l a p 的概念，在文献【6 】的基础上，提出了将o l a p 立方体数据进行本地 存储的想法，以使得在网络断连情况下，仍能够一定程度上浏览本地已经存储的数据并对其进行相关 的o l a p 操作。同时，文献【5 】还针对移动设备显示屏的特点，对移动设备的o l a p 可视化提出了一些 想法。 文献 7 】、文献【8 】对移动环境下立方体压缩技术提出了更好的面向用户定制的方法，文献 2 3 1 将 x m l 技术引入移动o l a p 数据传输和显示中。 以上的这些f t 作对移动环境下的o l a p 应用研究提供了很好的基础，但是这些工作大都局限于理 论研究，真正的面向应用的产品还比较少，同时，现有的人多数移动管理产品都是基丁联网情况的 c s 或者b s 架构，移动端仅仅是一个客户终端，网络断连时的独立操作很少支持，这样在网络不稳 定的移动环境下，执行效率非常低，实用性不大。 2 第l 章引言 1 3 相关工作和论文结构 正如1 2 节中所述，移动o l a p 的研究已经取得了一些成果，一些关键的技术和算法也得到很好 的研究，但是成熟的产品尚朱出现。并且现有的对移动环境下o l a p 技术的研究，大多是将移动端仅 仅作为浏览和操作终端，所有的o l a p 数据计算和分析都需要在联网情况下通过服务器端来执行。相 比有线网络，无线网络普遍存在带宽有限、稳定性不高的问题，无线局域网( w i f i ) 虽然带宽尚可， 但覆盖范围有限，而无线广域网( 如g p r s 、c d m a l x ) 不仅带宽窄、不稳定，而且费用很高，因此 总的来说在无线网络环境下，要保持网络的时刻连接是不现实的，所以上述要求必须联网才能使用的 移动o l a p 解决方案是难以实用的。 本文实现的s w i f t o l a p 在原有的嵌入式数据库管理系统s w i f t d b 4 】的基础上，增加移动o u 蟑功 能，以实现企业级的移动决策功能。由于移动端存在自主的数据库管理系统s w i r d b ，s w i f l o l a p 中 的移动端不仅仅是服务器端的一个客户，它还支持独立的o l a p 操作功能，使得在网络断开情况下， o l a p 操作仍然可以在s w i r d b 的支持下执行。这样s w i f l o l a p 的实现就分为两个部分：一个是联网 情况下，服务器和移动端以c s 的模式进行o l a p 操作，称之为联机o l a p 分析；一个是借助s w i f t d b 的数据管理功能实现独立的本地o l a p 操作，称之为本地o l a p 分析。同时，为了提高系统的实用性， 使用户在网络连接和断接的情况下都能正常分析数据，本文引入语义层f 2 i 】的概念来屏蔽数据库模式的 底层细节以及本地数据源( 嵌入式数据库) 和中心数据源( 中心数据库上的多维数据集) 的差异。这 样网络的连接与否对用户而言是透明的，用户可以简单地在移动终端选择与他日常t 作中所熟悉的概 念和术语相一致的语义对象访问所需的数据，指定要执行的o l a p 操作，系统自动地根据当前的网络 状态和查询的规模选择合适的数据源，并将用户针对语义对象提出的查询要求转换成对具体数据源的 查询操作，查询结果在移动终端以直观的方法显示。 本文主要讨论解决如下三个问题： 1 s w i f i o l a p 与s w i f t d b 的关系 s w i f l o l a p 是基于s w i f l d b 开发的。首先，当执行本地o l a p 分析时，系统将用户对语义对象的 操作转化为对本地s w i f t d b 的s o l 查询，通过调用s w i f t d b 物理层原语和a p i ，来获取本地o l a p 查询结果。其次，s w i f l o l a p 继承了s w i f i d b 的订阅功能，每个用户可以通过订阅机制，订阅与自已 感兴趣的分析主题相关的语义对象( 详见3 1 2 节) ，获得这些语义对象所涵盖的企业中心数据库中的 相关数据集，并能保持数据的同步。再次，s w i f t o l a p 继承并改进了s w i f t d b 的同步机制，以更适合 移动环境下的o l a p 分析。 2 联机o l a p 和本地o l a p 的实现以及两者之间的关系 联机o l a p 的实现难点主要在于如何解决移动通信网络的特殊性对大量数据传输效率的影响。本 地o l a p 的实现难点在于本地数据与中心数据库的及时同步以及如何在数据库上给用户提供o l a p 服 务。s w i f t o l a p 系统针对上述问题，对s w i f l d b 的同步功能进行了修改，增加了o l a p 操作所需要的 一些新的协议，并考虑到网络有限的带宽和不稳定性，提出了选择性分段传输和本地存储的改进策略， 来提高联机o l a p 的传输效率。本地o l a p 主要是将用户的o l a p 操作转化为s q l 语句，调用s w i f l d b 相关接口，返回o l a p 形式的查询结果。联机o l a p 和本地o l a p 对于用户而言是透明的，由系统根 据查询的复杂度和网络的连接情况自行做出选择。并且，用户的操作是在语义对象上进行的，系统通 过对联机o l a p 还是本地o l a p 的判断，将用户对语义对象的o l a f 操作转化为m d x ( m u l t i - d i m e n s i o n a le x p r e s s i o n s ) 查询语句或者s q l 查询语句。 3 移动o l a p 的可视化 移动设备的显示设备与传统的p c 机有很大的不同( 具体见1 2 1 节) ，针对移动环境下嵌入式系 统中的o l a p 可视化的特殊需求，本文借鉴t a b l el e n s 可视化技术思想，给出了适合小屏幕显示的 o l a p 可视化算法，可以在小屏幕上较为直观的显示大量的数据。 3 东南大学硕士学位论文 本论文的章节结构如下： 第1 章：引言部分，主要介绍了本文的研究背景，分析了移动环境下o l a p 的需求和研究现状， 给出了本文主要解决的问题。 第2 章：介绍了s 埘r o l a p 的开发平台s 谢f i d b 以及s 谢敝u 心的总体设计，给出s w i i t o l a p 的体系结构和各功能模块的关系图，并对系统中联机o l a p 和本地o l a p 的选择机制进行阐述。 第3 章：主要是介绍语义层的设计与实现，通过对语义对象的引入，隐藏了底层数据的细节，屏 蔽了联机o l a p 和本地o l a p 针对不同数据源的操作对于终端用户的差异。主要阐述了语义对象的存 储、设计以及订阅功能的实现，并给出了将用户对语义对象的操作转化为对不同数据源的查询语句的 算法。 第4 章：主要介绍了s w i i t o l a p 的同步处理机制，主要针对联机o l a p 和本地o l a p 的功能需 求，在s w i f f l ) b 同步机制的基础上，设计实现适合移动o l a p 的同步机制以及移动环境下同步的一些 改进策略：选择性分段传输和查询结果集的本地存储策略。 第5 章：主要是s w i f t o l a p 移动终端可视化的研究，针对移动设备显示屏的特点，给出了基于 t a b l el e n s 的算法描述，并在结果集上实现统计图表和基本的o l a p 操作( 钻取，旋转等) 。 4 第2 章开发平台和总体设计 第2 章开发平台和总体设计 s w i r o l a p 是基于嵌入式数据库系统s w i f t d b 上的移动辅助决策分析系统，支持企业移动管理中 的现场辅助决策分析，本章首先简单介绍开发平台s w i f t d b ，并在此基础上介绍了s w i f t o l a p 的总体 设计，给出了s w i f t o l a p 的体系结构和各模块的功能关系。 2 1 嵌入式数据库管理系统s w i f t d b 2 1 1 s w i f t d b 的体系结构1 4 i s w i f t d b n 是由东南大学计算机学院数据库及信息系统研究室开发的移动数据库系统，由一个运 行在移动终端上的嵌入式数据库管理系统( e d b m s ) 和运行在企业中心数据库所在的固定网络上的同 步服务器两部分组成。嵌入式数据库在移动终端中构造一个数据库环境，该环境具有数据库服务器的 功能，支持数据库的基本操作，也可以作为远程客户与中心数据库进行联机操作、复制数据、保持数 据同步和实时性等。中心服务器是一个多线程事务服务器，负责与各个移动客户进行数据同步，定时 广播移动用户感兴趣的数据集。中心服务器通过o d b c 和中心数据库交互，中心数据库可以是目前流 行的各种固定数据库管理系统，如s y b a s e ，o r a c l e 。中心服务器具有友好的用户界面，安全可靠，安 装、使用方便。 在移动计算环境下，s w i f i d b 系统的总体结构可以用图2 1 描述，它由三类结点组成： 1 服务器( s e r v e r ) ：一般为固定结点，每个服务器维护一个本地数据库。服务器可以是彼此独立 的，也可以由可靠的高速互联网络连接在一起。服务器可以处理客户的联机请求，并可以保存所有请 求的历史记录。 2 移动支持结点( m o b i l es u p p o r ts t a t i o n ，简称m s s ) ：m s s 也位于高速网络中，并具有无线联网能 力，它们用于支持一个无线网络单元( c e l l ) 内的通信。该单元内的移动客户端既可以通过无线链路与 m s s 通信，从而与整个固定网络连通，也可以接收由m s s 发送的广播信息。服务器与m s s 可以是同 一台机器。 3 移动客户端( m o b i l ec l i e n t ，简称m c ) ：m c 的处理能力与存储能力相对于服务器来说非常有限， 且具有移动性( 即可以出现在任意一个无线单元中) 。m c 可能是任何一种移动终端，比如笔记本、 p d a 、掌上电脑、手机等。 嵌入式数据库在移动终端中构造一个数据库环境。该环境具有数据库服务器的功能，支持数据库 的基本操作，也可以作为远程客户与中心数据库进行联机实时操作，复制数据、保持数据同步等。 2 1 2s w i f t d b 的同步机制嘲 s w i f t d b 系统的同步包括上载和下载两部分。系统采用双向复制的处理模型，移动结点通过下载 获得并保存数据对象的副本，在断接时通过弱事务的执行来操作数据副本，直至与中心数据库重新连 接时，移动结点将所有弱事务作为一个同步事务提交给同步服务器，进行上行复制：再从中心数据库 接收最新的数据副本，进行下行复制。通过这一过程来保证中心数据库与移动结点数据的一致性。 s w i f t d b 采用两种方式实现同步机制：基于连接的同步和基于消息的同步。 s 诵f d b 采用s o c k e t 网络通信方式来实现同步服务。s w i r d b 系统中分为联机操作、全部下载、 5 东南大学硕士学位论文 选择下载和双向复制四个线程和对虑同步服务器上的相应线程通信。同步服务器线程在相应的四个 s o c k e t 端口监听，处理移动端的请求。采用基于连接的同步技术，移动终端连接到网络的上载或下 载过程必须一次性完成，在此期间不能中断，如果连接中断只能等下次连接后从头重做，有可能造成 大量数据的回卷，在网络连接质量很差的场合会影响系统性能。 为了适应无线网络连接的低可靠性，s w i f l d b 还提供基于消息的同步服务 1 0 l 。与基于连接的同步 相比，允许在同步过程中与网络断接，因此适合于网络连接更加不可靠的应用场合。为此采用m s m q ( m i c r o s o f tm e s s a g eq u e u e ，微软消息队列) 消息队列机制来实现基于消息的同步。上层的同步控制 协议与基于连接的同步是一样的，所不同的是底层的数据传送方式。在上载或下载时，发送方将数据 切割成若干数据包，通过m s m q 消息机制发送，接收方将收到的数据包重新装配，当所有数据包都 收到时，数据的传送就完成了。在此期间，允许网络连接中断，由m s m q 机制保证发送的数据包一 定能送到。m s m q 支持及时重新连接检测，也叫网络跟踪，它能在网络一建立连接后就离开重新尝试 消息传递，m s m q 将试图把没有发送的消息尽力重新传输出去。 嵌入式数据库移动客户端移动客户端嵌入式数据库 图2 1 基于s w i n d b 的行业应用系统体系结构 2 2s w i f t o l a p 总体设计 s w i f i o l a p 总体结构分为服务器端和移动埘3 0 l 。其中服务器端由中心数据源、数据源服务器以 及同步服务器组成。中心数据源包括中心数据库和基于中心数据库的多维数据集，同步服务器用米实 现服务器端和移动端的同步。移动端主要包括嵌入式数据库及与朋户交互的移动终端。语义层覆盖在 各种数据源之上，根据功能的划分，分别存在于移动端和服务器端。具体的体系结构见图2 - 2 所示。 2 2 1s w i f t o l a p 的体系结构 6 | 回一户端| | 白蟊 i | 构 第2 章开发平台和总体设计 s w i f t o l a p 的功能模块关系图如图2 - 3 所示。用户在移动端通过语义层与服务器端的中心数据源 或者本地的嵌入式数据库进行通信。语义层实现的功能分为两部分：1 语义对象的生成、存储、订阅； 2 用户o l a p 操作的查询语句转化。语义对象的生成在服务器端的语义对象生成模块实现，语义对象 由语义对象设计人员根据多维数据集的相关信息进行定义，生成的语义对象存储文件被传送到移动 端，语义对象将显示在终端，供用户选择，并对其进行相关的o l a p 操作，用户还可以订阅自己感兴 趣的分析主题的相关语义对象。对用户在语义对象上的o l a p 操作的查询语句转化在移动端实现，将 用户对语义对象的o “廿操作转化为相关的m d x 查询语句或者s q l 查询语句。 服务器端_ 、一一 移动端 图2 - 3s w i r o l a p 模块组成关系图 服务器端主要包括中心数据源和同步服务器，中心数据源包括中心数据库和多维数据集。其中， 中心数据库即是s w i f l d b 系统中的中心数据库，可以是目前流行的各种同定数据库管理系统，如 s y b a s e ，o r a c l e ，s q ls e r v e r 等等。多维数据集是数据库管理员在中心数据库的基础上建立的，提供 实现联机o l a p 分析的数据源。同步服务器连接中心数据源和移动端，主要实现s w i f t o l a p 的同步功 能的服务器端实现模块，语义对象的生成模块也在同步服务器上实现。同步服务器通过o d b c 和中心 数据库交互，和多维数据集的交互通过a d om d 实现，同步服务器具有友好的用户界面，安全可靠， 安装、使用方便。 o l a p 的移动端主要包括移动终端设备和嵌入式数据库。移动终端存储语义对象存储文件和查询 结果集存储文件。嵌入式数据库主要存储用户订阅的语义对象对应的数据库中的数据集。移动端主要 实现与用户的交互，利h j 本地的语义对象存储文件，将用户的o l a p 操作转化为相关的查询语句，供 服务器或者本地数据库管理系统调用，同时将o l a p 查询结果以直观的形式展示给用户，用户可以在 查询结果上进行o l a p 基本操作。同时本地o l a p 功能也在移动端实现，当移动端的查询语句生成模 块将用户的o l a p 操作转化为s q l 语句后，通过调崩s w i f t d b 的应用层接口和物理层原语实现对本 地嵌入式数据库中数据的o l a p 分析操作，查询结果在移动端按照o l a p 标准操作的结果形式给出， 从而在可视化上实现联机o l a p 和本地o l a p 对用户的透明性。具体的实现过程见以下章节的详细实 7 东南大学硕士学位论文 现部分。 2 2 2 联机o l a p 和本地o l a p 的系统自动选择 联机o l a p 在服务器端执行，其最大的瓶颈是无线网络的带宽和网络的频繁断连，本地o l a p 的 瓶颈是内存和c p u 的限制，使得经过转换得到的复杂的s q l 语句执行缓慢。联机o l a p 操作将o l a p 原语转化为m d x 语句后操作，转化过程比较简单。而本地o l a p 将o l a p 原语转化为s q l 语句， 转化相对比较复杂，而且s q l 查询语言相对于m d x 查询语言有一定的局限性，转化时会有一定的限 制。 在s w i f l o l a p 系统中，采用以下的方法来实现联机o l a p 和本地o l a p 的自动选择：当用户执 行新的o l a p 查询及下钻操作时，会产生新的查询语句，访问数据源。系统中提供i s l o c a l ( ) 函数接 口，用来自行判断这些o l a p 操作在本地执行还是联机执行，以实现查询效率的优化。 i s l x ) c a l ( ) 函数的执行主要基于以下规n - 1 首先判断执行该操作的语义对象对应的数据是否在本地下载完全，若不完全，则该操作只能联机 执行。 2 由于o l a p 操作所得到的结果集一般数据量比较大，执行联机操作耗时较长，所以当相关数据本 地下载完全时，在原则上优先考虑本地执行。 3 通过实验得到查询参数对设备资源消耗的优先级如下：参与连接的关系表的数目对于资源消耗的 影响最大，查询条件的多少对资源消耗量的影响次之，结果集中的属性数目对资源消耗的影响不 大【3 4 】。i s l o c a l ( ) 将参与连接的关系表的数目及查询条件的多少这两项作为参数，给出相应的权 重，对转换生成的s q l 语句进行判断，估算本地执行的时间是否在可忍受范围内。 4 在网络断接情况下必须在移动端执行。当本地存储空间不足，数据下载不完全时，需要释放已占 资源，完成所需空间的释放和数据的下载。若释放或下载失败，则此次o l a p 操作失败。 在对o l a p 分析获取的结果集上的其它o l a p 基本操作( 统计、上钻、切片、旋转等) ，不涉及 结果集以外的数据，只需要针对缓存的查询结果集做相关的计算即可，因此均在本地执行( 具体实现 过程见第5 章) 。 当然，如何使得系统的分配更合理，执行效率更高，仍需要进一步研究。在以后的工作中可以根 据更多的试验结果，针对不同的应用环境，实现更加合理的选择机制。 8 第3 章语义层的设计与实现 第3 章语义层的设计与实现 在本文第二章中，提到语义层的概念，在s w i f t o l a p 系统中，语义层根据各模块功能的不同，分 别存在于服务器端和移动端。在服务器端，由设计人员对各个多维数据集中的维度、层次、度量值进 行封装，生成相应的语义对象。语义对象被传送到移动端，展现给终端用户，供其进行o l a f 操作， 以完成相关的o l a f 查询。语义对象的实现，隐藏了数据模式的底层技术细节，将多维数据集里的多 维数据和一般数据库中的二维数据以统一的格式封装起来，使用户可以通过其日常丁作中所熟悉的概 念或术语访问数据源中的数据，屏蔽了数据源的异构性。无论是多维数据集，还是普通的关系数据库， 用户都可以通过语义对象来完成相应的操作。根据系统对联机执行和本地执行的判断，在语义层的 o l 廿查询语句生成模块将用户的o l a f 操作转换为相应的m d x 或s q l 语句。 3 1 语义对象 语义对象【2 l 】是数据源的数据模式上的一层映射，通过语义对象，用户可以用其熟悉的术语或概念 访问数据源中的数据，从而屏蔽数据模式的底层细节和数据源的异构性。在s w i r o l a p 系统中，通过 引入语义对象，将中心数据源的多维数据集信息( 维度、层次、度量值等) 和中心数据库中相关属性 按统一格式封装起来，语义对象中记录了维度、层次、度量值等与数据库中表的各个属性之间的关联 ( 用s q l 语句表示) ，屏蔽了一般二维数据库与多维数据集对于终端用户的差别，使得无论是联机操 作还是本地操作，终端用户只需要对语义对象进行操作即可。除此之外，语义对象还记录了相关联的 数据源名称，语义对象的类型( 是否为度量值) ，语义对象的属性( 是否有直接父子对象) 等信息。 通过服务器端的语义对象生成模块提供的平台，语义对象设计人员完成对语义对象的设计。语义对象 设计完成后，在联网时，通过语义对象存储文件的相关下载协议，传输到移动端，存储并显示在移动 终端。 语义对象的存储格式为x m l 文件 2 2 1 ，语义对象不仅存储相关的物理信息( 记录维度度量值的物 理信息) ，它还包含逻辑层上的概念，即将多维数据的维度、层次、度量值以可视化的形式展现给终 端用户。终端用户相关的o l a p 操作也在语义对象的逻辑层上完成。语义对象逻辑层的引入，成功地 对用户屏蔽了联机o l a f 和本地o l a f 的操作差异。用户看到的只是直观简单的各种语义对象名称， 在这些对象上可以进行方便的可视化操作，得到最终分析结果，而不必关心后台服务器的结构以及分 析数据的获取。 3 1 1 语义对象的设计与存储 语义对象生成模块提供给设计人员各个多维数据集上每个维度、层次、度量值的相关信息，设计 人员可以在语义对象生成模块提供的平台上，将多维数据集中的维度值、度量值用合适的s q l 语句表 示出来。语义对象设计人员在设计语义对象时，要尽量保证s q l 语句描述的准确性和易执行性，这样 才能保证本地o “”执行的正确性。 一个多维数据集的所有语义对象存储在一个x m l 文件中，不同的x m l 文件存储不同的多维数 据集中的语义对象。 语义对象存储文彳牛1 2 9 】需要存储的信息列表如下： 1 多维数据集的名称。 2 物理数据源的名称和连接信息：存储该多维数据集来自于哪个数据库，以及在定义语义对象时跨 9 东南大学硕士学位论文 表的连接信息等。 3 一个或者多个语义对象的信息。 1 )语义对象的名称，o l a p 多维数据集对应的维度，层次和度量值的名称。 2 ) 语义对象的简短说明。 3 )语义对象的类型，表示该语义对象在该分析主体中是作为维度还是度量值。 4 )是否是可计算语义对象。即转化为查询语句时是否有计算函数。 5 )是否是带函数的语义对象。即转化为查询语句时是否有其他函数。 6 )是否有直接父语义对象，有的话记录直接父语义对象的名称。 7 )是否有直接子语义对象，有的话记录其名称。 8 )语义对象所对应的查询语句。将数据库上多维数据集的维度、度量值信息转化为对应的 s q l 语句，以便于将多维数据集上o l a p 操作转化为二维数据库上的s q l 操作。 9 ) 特别的，当语义对象涉及到数据库中两个