（计算机软件与理论专业论文）基于嵌入式系统的高效数据库设计与研究.pdf

西北工业大学硕士论文 摘要 终为移动诗算、移动巍务帮信惠彀器兹核心技拳，嵌入式数据库餐毽系统 是最j 琏几年才兴起的项新的数据管理技术。它以目前成熟的数据库技术为 基础，针对具俸的嵌入式设餐与系统特点，结合实际应用霰求，主要实现对 嵌入式设备上数据的存储、组织和管理，以及间后台主数据源的数据交换。 本文作者参与完成了s i m b ae d b m s 系统的开发工作。本文分析了嵌入式 系统黻及嵌入茂数据露系统鹣特点帮技术发麓现状，笄根据嵌入式系统静瘦 用需求和嵌入式系统蒋遍特裰指出：旗于内存操作的嵌入式数据库性能的决 定因素是系统遮毒i 融资源开链惹菲传统豹数撰i o 搽雩# 次数。在这个思想熬 指导下，本文麓点考虑了基予内存的嵌入式数据库管理系统的体系结构，采 用了有效的物理存储篱理机制、查询处理和数据同步技术，并对关键部分的 实瑶方式透幸亍了详继讨论。 关键字； 嵌入式系统 嵌入式数据库管理系统 存储管理 蠢询处理 数据同步 h 西北工业大学硕士论文 a b s t r a c t a st h ec o r et e c h n i q u eo f m o b i l e c o m p u t i n g ，m o b i l e - c o m m e r c ea n d i n f o r m a t i v ee l e c t r i c a la p p l i a n c e s ，t h ee m b e d d e dd a t a b a s em a n a g e m e n t s y s t e m a p p e a r sr e c e n t l yw h i c h i san e w l yd a t am a n a g e m e n tt e c h n o l o g y t h ee d b m s w h i c hb a s e do nt h em a t u r e t e c h n o l o g yo f d b m sa n da i m e da tt h e i d i o g r a p h i c e m b e d d e d s y s t e ma n dd e v i c e ，i m p l e m e n t st h ee m b e d d e ds y s t e m d a t as t o r e ，d a t a o r g a n i z e ，d a t am a n a g e m e n t a n dd a t ae x c h a n g ew i t ht h eb a c k g r o u n dd a t as o u r c e a c c o r d i n gp r a c t i c a lr e q u i r e m e n t t h ea u t h o rt o o k p a r ti nt h ed e v e l o p m e n t o f t h es i m b ae d b m s a n dt h e n f i i l i s h e dt h i st h e s i s t h e p a r t i c u l a r i t ya n dt h ea d v a n c e dt e c h n o l o g yo f t h e e m b e d d e ds y s t e ma n de d b m sa r ei n t r o d u c e d f i r s t l y t h ea u t h o rp o i n t o u tt h a tt h e c a p a b i l i t yo f e d b m s i sd e c i d e db yt h es p e n d i n go f s y s t e mr e s o u r c eb u tn o tt h e t r a d i t i o n a ln u m b e ro f i oo p e r a t i o na c c o r d i n gt ot h ep e c u l i a r i t yo f e m b e d d e d s y s t e ma n d t h ea p p l i a n c e sr e q u i r e m e n t i nt h ep a p e r , t h es y s t e ma r c h i t e c t u r eo f t h e e d b m sb a s e do nt h ee m s m e m o r y i sp i n p o i n t e d t h o s e p i v o t a lt e c h n i q u e si nt h e d e v e l o p m e n t o f t h e s y s t e m ，i n c l u d i n gt h ep h y s i c a lm e m o r i z e rm a n a g e m e n t ，q u e r y p r o c e s s ，d a t as y n c h r o n i z a t i o na n do t h e rt e c h n o l o g ya r ef u r t h e rd i s c u s s e d k e vw o r d s ： e m b e d d e d s y s t e m e m b e d d e dd a t a b a s em a n a g e m e n t s y s t e m ( e d b m s ) m e m o r i z e rm a n a g e m e n t q u e r y p r o c e s s d a t a s y n c h r o n i z a t i o n i i i 耍j ! 三些查兰堡! ：丝塞兰! ! 兰 第一章绪论 数据库技术是应数据管理任务的需要而产生的。6 0 年代后期，数据库系 统的出现使得信息系统的重心发生了转移，从以加工数据的程序为中心转向 以数据共享为核心。其后随着计算技术的发展和应用需求水平的提高，数据 库技术向深度计算和普及计算发展。高端的超大型数据库系统致力于解决复 杂数据类型如视频数据、音频数据、过程或行为数据的处理问题，满足海量 数据的存取。其特点是大、强、快；而低端的数据管理则随着嵌入式移动计 算技术的发展逐步成熟，在这类系统中，精小型数据库系统需解决个性化数 据的存储的处理需求，其特点是小、灵、易。嵌入式数据库系统技术研究移 动计算环境中的数据管理技术，已成为目前数据库研究的一个新方向。 1 1 嵌入式系统概述 所谓嵌入式系统是指以应用为中心，以计算机技术为基础，软、硬件可 裁剪，适应于应用系统对功能、可靠性、成本、体积、功耗严格要求的专用 计算机系统。嵌入式系统是将先进的计算机技术、半导体技术及其电子技术 与各个行业的具体应用相结合后的产物，般由嵌入式处理器、外围硬件设 备、嵌入式操作系统以及嵌入式应用软件等四个部分组成。随着电子集成技 术、计算技术、软件工程技术等的日趋成熟和完善，嵌入式系统正向社会各 个领域渗透，以成为继p c 和互联网之后最伟大的发明。 1 1 1 嵌入式处理器 嵌入式处理器是嵌入式系统的硬件核心，一般具有以下特点：支持实时 多任务、处理器结构可扩展、低功耗。嵌入式处理器的寻址空间一般从6 4 k b 到3 2 m b ，处理速度从0 1m i p s 到2 0 0 0m i p s ，常用封装从8 个引脚到1 4 4 个引脚。根据其现状，嵌入式处理器可以分成下面几类。 微处理器( e m b e d d e dm i c r o p r o c e s s o ru n i t ，e m p u ) ：嵌入式微处理器的基 础是通用计算机中的c p u 。在应用中，将微处理器装配在专门设计的电路板 上，只保留和嵌入式应用有关的母板功能，这样可以大幅度减小系统体积和 功耗。嵌入式处理器目前主要有：a m l 8 6 8 8 、3 8 6 e x 、s c 4 0 0 、p o w e r p c 、 6 8 0 0 0 、m i p s 、a r m 系列等。 微控制器( m i c r o c o n 仃o i l e ru n i t ，m c u ) ：嵌入式微控制器又称单片机，将 整个处理器系统集成到一块芯片中。和嵌入式微处理器相比，微控制器的最 大特点是单片化，体积大大减小，从而使功耗和成本下降、可靠性提高。微 控制器是目前嵌入式系统工业的主流。微控制器的片上外设资源一般比较丰 富，适合于控制。嵌入式微控制器目前的品种和数量最多，比较有代表性的 通用系列包括8 0 5 1 、p 5 1 x a 、m c s 2 5 1 等。 鞭北工业犬学硬士论文 第一章绪论 d s p 处理器( e m b e d d e dd i g i t a ls i g n a lp r o c e s s o r ，e d s p ) ：d s p 处理器对系 统结构和指令进行了特殊设计，使其适合于执行d s p 算法，编译效率较高， 攒令撬行速凄氆较高。d s p 楚瑾器院较有代表靛豹产品楚t e x a si n s t r u m e n t s 的t m $ 3 2 0 系列和m o t o r o l a 的d s p 5 6 0 0 0 系列。 片上系统( s y s t e m o n c h i p ) ：随羞e d i 的雄广积v l s i 设诗懿普及健，及 半导体工艺的迅速发展，在一个硅片上实现一个更为复杂的系统即s o c ，整 个嵌入式系统大部分均可集成到一块或几块芯片中去，应用系统电路板简洁， 对于减，j 、体积帮渤耗、援嵩可靠性菲鬻裔番j 。s o c 分为通愆和专蠲两类。通 用系列包括s i e m e n s 的t r i c o r e ，m o t o r o l a 的m - c o r e 等。专用s o c 一般专用 予菜令或菜类系缓，懿p h i l i p s 懿s m a r tx a ，它将超过2 0 4 8 位r s a 算法豹 c c u 单冗制作在一块硅片上形成s o c ，可用于公众互联网如i n t e r a c t 安众方 颟。 1 1 2 嵌入式操作系统 嵌入式搡终系统与遴瘸揉终系统槎魄，除了其各程务调度、中断处理、 文件功能簿基本特征外，还需具备以下几个特点：系统具有良好的可移植性、 矗用资源少、可纛性能麓、支持阙络及其协议、嶷好鳃掰户接蹬窝实对处理 能力。7 0 年代瑶期，出现了嵌入式操作系统，采用汇编语言编写，而只能运 行专用处耀器上，对新的处理器崧须重新编写操作系统的所有代码。8 0 年代 末，毽璇了冗个蔫名静鬻渡嵌入式操作系统。瑰在的主流嵌入式涤终系统主 要包括：v x w o r k 、p s o s 、n e c u l e u s 、w i n d o w sc e 以及p a l m o s 和嵌入式l i n u x 等。健镪器其特魏，在这墨主要分振羁 l 潜力最大应爱羧广的鼹秘操终系统： w i n d o w sc e ：窀是种具有多线程、完整优先权、多任务的操作系统，与 w i n d o w s 系列有较好的兼容性。但嵌入式操作系统它有很多缺陷，w i n d o w sc e 没有开教源筏弼、效率低、速度幔、功耗大、资源占弼大、应用程序庞大， 版权许可赞用价格较高。 l i n u x ：这是一耱开款源弱戆系绞。其鸯；支持多任务多线程、瞧靛霹纛、 软件资源率富、舆有高度灵活性、系统可定制、微内核以及具有强大而可靠 的网络功能等特点。耳蔚，国外不少大学、研究机构和知名公司郯加入了嵌 入式l i n u x 的开发工作，较成熟的嵌入式l i n u x 产品不断涌现，如；美国新墨 西哥理工学院的r t l i n u x 、l i n e o 公司的e m b e d i x 、美国刚虎公司的x l i n u x 等， 瑗在已经艘臻戆巍矮子各个领蠛。 我国在这方面也做了不少工作，如中科院计算所开放源码的嵌入式操作系 统e a s y e m b e d d e do s ( e e o s ) 、广州搏剥恩软停公司熬嵌入式l i n u x 中文操 作系统- - p o c k e t i x 等，但是国产嵌入式操作系统在技术含量、兼容性、市 场运作模式等方面都不够成熟。 2 西北工业大学硕士论文 第一章绪论 1 1 3 嵌入式系统的发展 随着电子技术的发展，各种各样的数字化电子设备在工业、军事国防、 商业、消费类电子产品领域得到了广泛的应用。嵌入式系统和与之密切不可 分的嵌入式操作系统，经历了由简单到复杂的发展历程。数字技术的普及发 展，要求嵌入式系统具有更多的智能化功能、更加亲切友好的用户接口及操 作界面、更强的网络支持和多媒体处理能力。嵌入式操作系统的技术重点也 由早期的硬件控制转到了如何更加有效地支持上述应用发展上来。嵌入式系 统的发展主要经历了以下几个阶段： 第一阶段是简单的嵌入式系统：其特点是以单片机为核心外设单一、没 有操作系统支持、处理效率低、由系统控制程序、应用与控制程序一体化、 针对性极强，针对特定的外部设备； 第二阶段是有较为独立操作系统的复杂嵌入式系统：其特点是操作系统 内核精小、效率高，并支持高度的模块化和扩展性能；具有文件、任务管理 功能，以及应用界面和大量接口程序；专用性较强，但系统移植性较差； 第二阶段是具有网络、多媒体、微内核操作系统支持的嵌入式系统：其 特点在于系统与i n t e m e t 相结合，具有微内核结构，便于系统移植和裁减；采 用多层体系结构，具有固定的程序结构；系统重组需重新编译； 从嵌入式系统的发展历史可以看出嵌入式系统具有便利灵活、性能价格 比高、嵌入性强等特点，可以应用到任何控制系统中。从硬件角度看，系统 外设具有较强的专用性、硬件资源存储空间小、处理能力弱：从软件角度看， 系统具有不可修改性、系统配置需求低、专业性和实时性要求强等特点。 1 1 4 嵌入式系统软件的要求 嵌入式系统的应用软件是实现整个嵌入式系统功能的关键，对嵌入式处 理器系统软件和应用软件的要求也和通用计算机有所不同。具体表现在以下 几点： 1 软件要求固态化存储。为了提高执行速度和系统可靠性，嵌入式系统 中的软件一般都固化在存储器芯片或单片机本身中，而不是存贮于磁盘等载 体中； 2 软件代码高质量、高可靠性以及良好的可升级性、可扩展性、可移植 性。尽管半导体技术的发展使处理器速度不断提高、片上存储器容量不断增 加，但在大多数应用中，存储空间仍然是宝贵的，还存在实时性的要求。为 此要求程序编写和编译工具的质量要高，以减少程序二进制代码长度、提高 执行速度； 3 尽量利用现有的技术与标准，降低开发成本，缩短开发周期。例如需 要进行互联和浏览i n t e m e t 的嵌入式系统软件一般直接调用t c p i p 及h t t p 协议： 西北工北火学硕：i ? 论文 第一章绪论 4 + 潢是多秽应用震要豹可伸缩毂，现代的嵌入式系统软件应钱支持多孝孛 应用需求并鼠可方便配置，满足各种矮体应用的需求。 嵌入式系统软件包括嵌入式操作系统和嵌入式应用软件。如前所述嵌入 式工簸戆基磁楚鞋应掰为辛心翡芯片没计蠢瑟淹应用鲍软俸嚣发，警翦嵌入 式软体已在消费电子、网络通讯、工业国防等领域遍地开花，尤其是在嵌入 式系统上移动嚣联的实现技零基或必嵌入式瘦鼹硗究镊域中匏一太热点，薮 技术、新标准、新协议层出不穷，极大的拓宽了嵌入式系统的研究和应用范 围。 1 2 嵌入式数据库系统 嵌入式数键痒系统是掺支持移动诗算或蘩穗特定谤算模式瓣数耀蓐管理 系统，它通常与操作系统和具体的应用集成在起，运行在嵌入式或者移动 设备上。嵌入戏数据库技术涉及数据艨、分布式 垮以及移动遥远等多个学 科，已经成为数据库技术发展的一个新方向。 1 。2 。1 嵌入式数据库系统概述 数据库技术总是与计算环境的一定发展阶段相通应，新的计算环境和需 求堤成数据瘴技术兹形戏纛发展。计算强境铁集孛式、分毒姣、潮络嚣境裂 目前深受瞩目的移动计算环境m c e ( m o b i l ec o m p u t i n ge n v i r o n m e n t ) 和普遍 化计算环境p c e ( p e r v a s i v ec o m p u t i n ge n v i r o m e n t ) 等多种计算环境。农分布计 算静蒸穑上，计算环麓迸一步扩展惫含为各萃申移动设备、其脊无线通信能力 的服务网络，构成了移动计算环境。随着移动计算环境发展，数据库系统也 麸集孛式、分森式、b a s 多瑟结擒数摇蓐系绫发矮裂今天夔嵌入式数据痒系 统。当前采用标准的关系数据库和数据同步复制技术，嵌入式数据库管理系 统已成为数据蓐领域的新焦点。 与通用的桌面系统不同，出于嵌入式系统没有充足的内存和磁盘资源( 或 者没有磁盘) ，所以，不论是嵌入式的操作系统还是数据库管理系统，都要占 焉爱，l 、熬内存秘磁盘空鬻。如梁采震文俘系统竣大蘩关系型数蕹痒管遴系统， 都不可避免地产生大髓的冗余数据、数据管理效率低下等，所以，他们不能 应用予嵌入式系统豹数据管理。两长期以来，襄业数据库孝亍敛都在不停戆追 逐高俄能的事务处理以及复杂的查询处理能力，并制定了相应的行北标准。 但是对于嵌入式数据库系统来说，不间的嵌入式应用系统其自身的特点不一 样，对子普逶静系统一般只要求完成简单酌数据套诲鞠更新，但是隧着移动 计算技术。对于它性能的度量标准：易于维护、强壮性、小巧性，在现有的 荟令嵌入式数攥痒系统之阕难以逢纾确韬遮比较，在这三令拣准孛，易于维 护和健壮性是芙键，用户除了在处理逋度上的要求外，他们需要相信存储在 设备的数据具商高度可靠性。易于维护性能够让他们的嵌入式设备藏确的完 成任务，面不必进行笺杂的入工干预。反过来，这两个特点龟就促成了嵌入 4 西北_ 【业大学硕上论文 第一章绪论 式系统的另外一个特征，小巧性的形成。嵌入式数据库系统可以支持移动用 户在多种网络条件下有效地访问所需数据，完成数据查询和事务处理；通过数 据库的同步技术或者数据广播技术，即使在断接的情况下用户也可以继续访 问所需数据，这使得嵌入式数据库系统具有高度的可用性；它还可以充分利用 无线通信网络固有的广播能力，以较低的代价同时支持多移动用户对后台主 数据源的访问，从而实现高度的可伸缩性，这是传统的客户服务器或分布式 数据库系统所难以比拟的。 同时，现在在嵌入式系统里，我们采用得最多的，是利用实时操作系统 来实现系统的配置和快速的运行，如果在操作系统之上使用数据库管理系统， 那么，数据库必须同样具备良好的实时性能，这样才能保证与操作系统结合 以后，不会影响整个系统的实时性能。嵌入式数据库主要是管理存放在 s r a m 、r o m 或f l a s hr o m 中的系统和用户数据。因为系统和用户的数据一 般都在s r a m 、r o m 或f l a s hr o m 中，但由于系统内存小和c p u 速度慢， 因此，在嵌入式数据库系统中数据的结构和算法以及数据查询处理算法非常 关键，必需采用特殊的数据结构、算法及相关的数据库精简技术。 1 2 2 嵌入式数据库系统的特点 嵌入式数据库系统在某些方面与大型数据库系统相似，如在模型上，嵌 入式数据库系统可以是层次、网状或者关系数据库，甚至就是面向对象的数 据库。但从前面对嵌入式数据库的概述中已经可以看到，与大型数据库系统 相比较，嵌入式数据库系统有其不同的特点。归纳起来，嵌入式数据库系统 有如下主要特点： 1 ) 占用存储空间较小 嵌入式系统资源有限，有些甚至没有磁盘，系统的数据不象硬盘数据 库系统( d i s k r e s i d e n t d a t a b a s es y s t e m ，d r d b ) 的数据可以驻留在磁盘中， 在个d r d b 中，系统的开销主要花费到i o 操作上，而在嵌入式系统 中，数据大部分存储在内存中，因而在这种情况下嵌入式系统数据处理 有着其自身的特点。 2 ) 可靠性、可管理性和安全性 嵌入式系统通常在移动、相对封闭的环境下使用，信息技术支持人员 无法对其提供现场技术支持。因此，嵌入式数据库系统必须可靠，而且 能在无需人工管理的情况下运行。鉴于这一特点，对于嵌入式系统中使 用的数据库来说，其自身的可靠性、可管理性和安全性显得特别重要。 3 ) 互操作性和可移植性 一般嵌入式数据库系统都是针对具体的开发平台和操作系统设计和 实现的，但为了保证能与其它的嵌入式数据库或者大型企业数据库进行 信息共享，数据库开发人员在开发系统的过程中应该能提供一定的机制 实现与其他数据处理程序的互操作，以及相应的数据同步功能。同时嵌 西北工业人学硕士论文 第一章绪论 入式系统的应用领域非常广泛，所采用的操作系统等软件和硬件环境也 千差万别，为了适应这种差异性，嵌入式数据库系统的移植性必须得到 充分的考虑。 1 2 3 嵌入式数据库技术的发展方向 尽管小型嵌入式数据库面临的难题比大型数据库要复杂的多。但是市场 需求却是与日俱增，而且将是一个很大的开放市场。在将来，智能移动设备 和其他各种装置的嵌入式数据库可以接受连续的数据流，以满足这些装置的 应用需求，这是嵌入式数据库系统未来发展基本趋势的一个方面；另一方面， 鉴于手持装置使用无线通信技术，这一技术对嵌入式数据库系统的未来发展 将产生举足轻重的影响。因此，无线通信技术的不断发展和无线通信业务成 本的降低，将是嵌入式数据库系统在未来发展中取得成功的关键因素。同时， 制造商将进一步提高各种计算装置的数据处理和存储的能力，从而会使得嵌 入式数据库的设计变得更加容易，而且在功能上将会得到新的拓展。为了使 得嵌入式数据库系统更能发挥其作用，主要涉及以下几种关键技术发展方向： 1 ) 系统整体的微型化 存储空间的限制是目前制约嵌入式系统的主要原因。系统微型化是指提 高数据存储空间利用率，其主要实现方法是对关系模式的优化和数据的压缩 存储优化。并根据具体应用需求，选择系统必须组件功能，为此系统的微型 化是以放弃系统功能完备性为代价的。 2 ) 数据同步复制技术 通常嵌入式系统数据库中的数据只是某个后台主数据库或者数据源的一 个局部数据副本，多个移动用户共享同样的数据资源。为了达到嵌入式应用 程序与基地信息的有机结合，需要向中心数据库上载数据以及下载数据。这 种双向的信息共享主要是通过装载数据同步复制服务器来管理的。其功能主 要包括：数据传输、同步冲突检测与处理、同步中事务完整性的保持、异构 数据源同步等内容。同步冲突检测与处理是同步复制技术的最重要的一项技 术。 3 ) 系统可定制能力 当数据库系统和应用分离时，即使应用所需求的功能较少，但数据库系 统仍然包括了所有支持的功能模块，造成了资源的浪费，这对于资源有限的 嵌入式系统来说是不合理的。系统可定制可以解决这个问题，它根据实际应 用的需求定制数据库系统的功能，真正做到量体裁衣物尽其用。s y b a s e u l t r a l i t e 提交技术便是这一技术的范例。 4 ) 系统可移植性与多平台支持 嵌入式系统技术发展迅速，应用领域广泛。但就从嵌入式操作系统的种 类繁多( 如w i n d o w sc e 、p a l mo s 、e m b e d d e dl i n u x 等) 、更新速度快、系统 特点不一这一点来看，要适应这种广阔的应用空间，嵌入式数据库多平台支 6 西北工戴丈学硕士论文 第一章绪论 持成为一项十分重要的性能骤求。嵌入式设备的迅速更新更使得系统具有良 静静霹移植馁。 5 ) 网络支持与数据安全 嬲络支持使褥系绞霹班邋避各耪骞线或蠢无线连接换议选多个移动终璇 具有遴行数据菇享，以及终端与后台主数据源进行数据交互的能力。特别是 w e b 访问能力使系统具有在线和离线状态都可以进行数据处理。隧蒺网络多 终端鼢支持，系统数据静安全经氇就成为一个重要的问题。使用数据备份和 写保护存储技术可以达到数据保护，数据有效的安全访问策略可以保证系统 数据拣安全。 1 2 4 嵌入式数据库的发展现状与应用前景 现在，嵌入式数据库技术已经旗研究领域向更广泛的应用领域发展，从 计算机技术及其应用发展的历史来看，计算机技术，尤其是数据库技术发展 的藏麓力主要来鸯两个方露，郎：不颓发涎扩大翦庭雳需求秘其它支撵技术 的发展。嵌入式移动数据库领域的研究在继续深入发展的同时，也醴经进入 了实蹋化弱产晶化豹除段。纵鼹星兹黧际、鞭蠹嵌入式数据薅豹应趱情况， 嵌入式数据库或移动式数据瘁的应用处于一个“百花齐放、百家争鸣”的状态。 也就是说，目前基于嵌入式数据库应用的市场需求已经进入加速发展的阶段。 在基予嵌入式数据库的应露瓣决方案中，嵌入式应用是直接使甭嵌入式数攥 库的第一级应用。在目前各种应用解决方案中，基本上都采用了如图1 所示 戆薅系结稳。 | 备种移动应用程序l l 嵌a 式数据摩系统l l 嵌入式攮作系统 l | 耪魂褒捧串台 | 圉1 嵌入式着l 娩基本絮十日 在这个嵌入式絮秘孛，嵌入式数攘淳系统憨够纛嵌入式操作系绕骞辊穗 结合在一起，为应用开发人员提供有效的本地数据管理手段，同时提供各种 定制条 牛和方法。目裁，各种嵌入式数据库浆统提供应用定测的方法主要有 编译法和解释法两种。前者怒将应用所使用的数据管理操作网定在_ 陂用中， 在应用生成后，如果需要调整操作，参数也要重新生成。而解释法则将数据 搽维戆解释器祭残在藏鼹串，篷成后翡应薅辩薪静搡俸氇裁够超俸鼷。无论 哪种方式，嵌入式数据库系统都要努力降低自己的资源消耗，提高处理效率。 在凋酆，s y b a s e 建移动翻嵌入式计算提供了鼗赛领先瓣完整织决方褰 s y b a s es q la n y w h e r es t u d i o7 o ：o r a c l e 公司针对移动及嵌入式计算推出了 o r a c l el i t e ；i b m 的移动式解决方案魁两个独立的产懿d b 2s a t e l l i t e 和d b 2 e v e r y p l a c e 。在溪内，嵌入式数据库迄从研究除段发震翔应震阶段。入大金仓 西北工业丈学颤：f ? 论文 第一章绪论 研发的“小糙灵”系统；东北大学接如了o p e r t b a s em i n i 以及北京大学的 e c o b a s e 等嵌入式数据库。这些嵌入式数捺库系统一般对资源要求较低，蠢 用内存空间被小，从几十k 到几百k 不等；并支持c 语言a p i 函数和标准 s q l 子集懿歹 发接霹，莠提袋了数攒溺步豹凌毵。现在嵌入式数据痒已经形 成较为成熟的产业，成为嵌入式系统不可或缺的部分，但是相对国外数据库的 发展模式丽吉，国内起步较魄、应用嚣较小、应用领域也不够广，阕对嵌入 式数据库的发展存在麓理论研究、原型设计与产品商业亿分离的不足。不过 随着计算终端的小型化，应用领域不断扩展，可以预见，不久的将来应用冤 隈夔嵌入式数据库将笼掰不在。荬斑精穗圭瑟涉及移动互联羯、移韵电子商 务政务、移动物流、移动金融系统、移动新闻等商业与经济领域。 3 论文酶绳织结构 ，3 ， 论文的主要 爨究内容 本文首先阐述了嵌入式数据库系统的特点以及羁前的国内外现状，并络 合实鼯壤瑷，分辑了焱入式系统数据存德与篱瑾静糁点帮爨体应焉舔凌。捺 出了一个新的商效嵌入式数据库系统设计方粱。并鼠着重讨论了系统中所主 要涉及数据存储管理、查询处理、数攒同步等方嚣的技术。 1 3 2 论文结构及章节安排 全文共五分章，各章其体内容分剐魏下： 第一章荫先对嵌入式系统的发展和系统的处理器与嵌入式操作系统进 行了分缨；其次对嵌入式数攥痒系统驹特点、接零发震方囊辍应爰臻竣、 l 蓼 景进彳予了简要分析； 第二章首先，阐明了本漾题的研究背景和选题意义，以及系统的设计与 实现舜标。其次，完成了s i m b a 系统体系结构的设计；并对系统各个主要模 块功能进行概述。 第三章对系统数撂元素袭示，记漾表示及存健空寓懿管璞逶行了设计， 并对记录的基本操作和记录索弓l 的结构进行阐述。 第四章介绍了数据查询处理豹基本原理，并设计了查询处理器。对系统 使用到的有关箨法送行了讨论。 第箍章完成数据闷步系统的分析与设计，详细阐述了同步数据对象和同 步数据对象更耢熬鑫动识臻，捷窭了数据逶蕊协议方案及赣玻静设计技术， 最后讨论了一然其他的技术问题。 第二章s i m b ae d b m s 系统分析与设计 s i m b ae d b m s 系统是以嵌入式l i n u x 为开发平台的一个嵌入式数据库管 理系统；该系统实现了嵌入式系统的数据管理功能和与后台主数据源的数据 同步功能。以下就s i m b a 系统开发运行环境、系统实现方案、系统功能和性 能分析、系统体系架构及主要功能模块进行研究和讨论。并在接下来的几章 中详细阐述了其中几个重点的核心技术。 2 1s i m b ae d b m s 系统背景与意义 s i m b a 系统源于一个科研合作项目，该项目致力于提供一套跨平台、本地 化的p d a 应用软件的整体解决方案，是一个基于嵌入式l i n u x 的通用型应用 系统。该系统强调功能上的实用性、使用上的简单便捷，同时整个应用系统 的代码量要尽可能的小，且易于扩充、利于维护。该系统的应用软件依功能 可以分为如下几类： 1 p i m ( p e r s o n a li n f o r m a t i o nm a n a g e m e n t ) 软件：记录和管理个人的数 据信息，典型的包括联系人、日历、任务、便笺、开支等应用程序： 2 p o c k e to f f i c e 软件事实上是p c 平台o f f i c e 软件的p d a 化，典型的 有p o c k e tw o r d 、p o c k e te x c e l 、e b o o k 等应用程序； 3 系统工具类软件：系统工具软件可以将p d a 的应用进行扩展。主要包 括系统设置和互联网通讯工具。如f i l em a n a g e r 、s e r i n g s 、e m a i l 等： 4 工具软件和游戏软件：包括有录音机、m p 3 播放器、视频播放器、 图片浏览器和数据管理与同步工具等。 5 针对不同用户行业需求，研发的不同应用系统，如移动社区医疗系统 等。 在上述应用中涉及数据与信息的存取，系统的最初方案设计中整个p d a 系统数据的存储管理采用 t r o l l t e c h 公司的x m l 的体系结构。这是由于x m l 模块提供了格式良好的基于s a x 2 ( 有关x m l 的一套简单的a p i ) 接口的 x m l 解析器和对d o m ( 文档对象模型) l e v e l 2 的实现部分，d o m l e v e l2 是w 3 c 推荐的x m l 接口，它把x m l 的文档要素映射为树型结构，s a x 2 接 口通过事件驱动机制为用户提供文档信息，当解析文档时解析器应给出特定 的文档信息，在读取文档的时将有三个事件将会被触发： 1 、找到一个开始标记( ) 2 、然后是字符数据( 也就是文本) 3 、解析到一个结束标记( ) 每当这样的事件发生时解析器就报告，然后调用合适的事件处理程序。 这是处理x m l 文档简单有效的方法。x m l 解决了数据接i s l 的统一问题，但 是q t 的x m l 模块只是提供了一个抽象类，具体只是实现了x m l 的读取功 西北t 啦大学硕土论文 第二章s i m b ae d b m s 系统分析与设计 能，其他功能郡没有提供良好的支持，并没夜实现数据信息的发现、抽取、 排序、过滤、整理l 冀及其袍的管理，程这套裔韭缀的嵌入式系统孛采用x m l 规范，目的在于这套系统的开发采用了q t 库，同时加快了研发速度、降低了 磅发藏本，实现了数舞与应弱懿分开繁理、戮瓣毒零l 予将来懿二次嚣发，麦 了保证p d a 端与p c 端的数据的一致性，系统采用了专用的数据同步软件。 缎是，这样系统缺少有效、完善的数据存储、管理、查询、共享秘安全 机制，并且这样的数攒管理缺少与后螽主数攒源透行交互、阏步的能力，对 于宝贵的嵌入式系统资源来说这是一种低效率的数据管理方式。为解决上述 阏题，本漂瑟瓣嵌入式系缓数据管理技本逮行磷究，在已舂鹈嵌入式系统数 据管瑗研发基础上提出一套可行的嵌入式移动数据库管理系统的解决方案， 并对嵌入式数据库与鼷端数据库服务器的数攥交换进行分辑秘研究。簸后提 出一个适合嵌入式移动设备的微型数据库系统设计方案。 2 2s i m b ae d b m s 系统的设计与实现量标 s i m b a 系统的整体设计在移动端主要考虑了嵌入式系统的两个特点：第一 个蹩嵌入式设锯戆存德分震。系统一般采爱f l a s h 耀存，它蹩释薪登熬 e e p r o m 内存( 电可撩可写可编程只读内存) ，它不仅具有r a m 内存的优点而 且数掇断电后不丢失。但成本太高，所以嵌入戏系统采爆的容量通常只有几 十苑。系统的这个特襁决定了s i m b a 系统是基于内存操作的数据库管理系统， 系统性能的决定因素不再是传统数据库考虑的数据i o 操作次数；第二个特 点是嵌入式憝遴器数撵处瑾能力有限。这一个特点决定了s i m b a 系统数据查 询必须采用效率高的焱询处理方案：缡合嵌入式移动终端应用环境的特性， s i m b a 系统设计与实璎主要豹霹标为： 1 ) 系统完成基本的数据库功能并提供全面的对外函数接口：这里燕要包 括数据定义接姻、数据操作接口、数据同步管理接口、系统扩展接口 涉及 数据露臻俸懿器分支持s q l 9 2 标准予集。 2 ) 支持数据操作及存储空阃的高效管理：采用优化的数据类型、记录表 示方寨叛爱数据操终：霹嚣对辔姥空阕熬管理采霆裹效豹算法；著提供有效 的内部接口函数。 3 ) 支持用户对数据的查询簿处理：系统支持用户对本地数据痒进行限定 往的数箍蠢谲搽作；并对数耀态询采用有效豹处理算法减小处理器运行开销。 4 ) 提供数据同步功能：提供完善的机制，宪成移动终端数据与后台主数 摆源之瓣瓣双| 逮数摇赞竣，搽诞数援露之霹数攥熬一致性。 2 ，3s i m b ae d b m s 系统设计与实现 s i m b a 系统是专为嵌入式系统数搦管理而设计的一套关系型数据库管理 系统。针对嵌入式应用环境的特点，系统支持限定性的数据操作请求；首先 由于嵌入式移动设备存储空闻翡有隈，设计一个好豹数裙存谙饶稚：方案就显 1 0 西北工业大学硕士论文 第二章s i m b ae d b m s 系统分析与设计 得尤为重要，s i m b a 系统对嵌入式数据库数据的有效存储进行优化与实现，从 而降低整个系统存储空间的开销；其次，对于处理速度相对较低的嵌入式处 理器，设计有效的数据查询规则和方案是提高嵌入式数据库系统整体性能的 关键所在，为此s i m b a 系统数据查询处理进行研究，解决了数据查询处理的 问题，提高了查询的效率以及整个数据管理系统的性能。同时，并对嵌入式 数据库与后端数据库服务器的数据交换进行分析，提出了数据库数据同步机 制，保证了多个移动终端对后台主数据源数据的操作一致性。 2 3 1s i m b ae d b m s 系统的实现方案 根据嵌入式系统内部应用环境的特点，系统实现时嵌入式数据库系统与 嵌入式应用程序融合在一起。在这种方案中s i m b a 系统的基本成份设计成可 重用代码，用户使用s i m b a 系统时，其模块被用户进程按子程序调用，从而 借助嵌入式操作系统的调度完成对用户程序的服务，这种实现方法称为连接 式的进程结构方案。采用这种方案有如下特点： 1 ) 这种方案使得嵌入式d b m s 与嵌入式系统中的应用程序( 如t o d o 应 用) 相融合，为操作系统减轻了负担，具体实现时采用动态连接库方式，实 现方法简单易行； 2 ) n 个d b 用户，n 个应用程序进程，这样可以减少数据库进程的调度； 3 ) e d b m s 作为应用程序的子程序被连入嵌入式应用程序中，成为应用 程序的一部分； 4 ) s g a ，s h a r e d g l o b a l a r e a 共享全局区，可以存放内容是数据、索引、 字典定义信息的缓冲块等全局资源。 连入式方案是适合少量用户的数据库管理系统方案，在s y s t e mr 系统中 就是采用这种方案。采用这一方案有如下的优点：没有进程切换开销；能用 子程序调用方式把控制迅速直接地传给d b m s ；避免两次进程切换开销( 每 次5 0 0 0 - 1 0 0 0 0 条指令) ，从而减少应用程序的运行时间；实现简单。但是存 在着多数据副本，加大了内存的需求。如下图2 1 所示： 西北工业大学硕j ：论文第二章s i m b ae d b m s 系统分析与设计 is m b e a a e at t m “。s 图2 - 1s i m b a 进程结柯肪案 2 3 2s i m b a e d b m s 系统性能要求 在现在流行的嵌入式系统中，其整个嵌入式系统一般采用如下结构体系： 运行在移动终端的应用部分和在服务器端的应用部分以及这两部分的数据通 信部分。s i m b a 系统是以嵌入式l i n u x 等嵌入式操作系统为平台的数据库管 理系统模型，实现了对嵌入式系统中的数据库管理功能，并借助o d b c 接口 提供对不同异构主数据源访问机制，使得系统支持与后台服务器p c 端数据库 之间的双向数据同步，基于这样的系统功能需求分析，提出了s i m b a 系统主 要完成以下几个方面的任务： 1 p d a 移动终端数据管理功能，系统支持s q l 9 2 标准子集；支持数据 记录的增加、删除、修改和数据查询等基本的数据库管理功能，为应用程序提 供接口调用函数；系统所涉及的数据定义语言d d l 和数据操作语言d m l 的 主要语法规则请见附录1 和附录2 。 2 系统支持数据库在p d a 移动终端和服务器p c 端的数据库同步，提供 数据的双向通信和数据同步接口；采用基于t c p i p 的扩展通信协议，实现记 录级的移动端嵌入式数据库与后台服务器主数据源间的数据问步。并针对不 同类型的要求采用不同的同步机制。考虑到具体的实际环境需求，该系统软 件实现后的性能具有如下特点： 在s i m b a 系统中支持多种数据类型： 定长字符串型c h a r o n ) ：其中n 为l 到1 6 ： 不定长字符串型v a r c h a r 2 ( n ) ：其中n 为1 到2 5 5 ： 数字类型i n t e g e r ：长度为2 个字节的整数： 数字类型f l o a t ：长度为4 个字节的浮点数： 布尔类型b o o l ：长度为1 个字节，采用全0 为假，全1 为真： 时间类型t i m e ：采用4 个字节定长字符串表示方法，形如 1 2 鼯北工业大学硕士论文第二章s i m b ae d b m s 系统分析与设计 x x ：x x ：x x ：x x + ( 例如2 0 ：1 9 ：0 2 ：2 5 + ) 磁常表示爵用1 1 个字节。现在每一个 x x 采用一个字节表示即可，这样总共就只需4 个字节。 酲凝类鍪d a t ：袋矮6 个字节定长字符攀表示方法，形鲡 x x x x x x x x ( 例如。1 9 9 9 0 6 1 8 ) 正常表示占用l o 个字节。现在除年的每 一个x x 采用一个字节表示瓤可，年罔4 个字节表示，这榉总共裁只需6 个字节。 在s i m b a 系统中的具有灵活的袭结构特性限定： 最大支持2 0 个关系，霹改动；每个关系对应一个数据文佟； 每个关系最多支持2 0 个字段，可改动； 每个关系最多支持4 0 0 0 条诞录，可改动； 主关键字嘴一表示一条记录，限定单字段构成主关键字。 系统具有微内核结构； 系统捉耄筵方便瑟活的c 编程接酾； 提供对标准s q l 的支持；支持数据的增、删、修、查询等操作： 系统采怒标准e 实现爨窍良好浆霉移攮性： 支持主码和外码完整性约束： 系统具有完整的安全性控制和并发控制； 其有完罄的丽步枫制，保证移动璇与后台数据霹数据的一致性： 2 3 3s i m b a e d b m s 系统体系结构 从上一节的系统功能描述，可以看出s i m b a 系统整个结构可以分为两个 邦分即移动端和服务器避。用户的操终分为数攒摩系统擦俘帮数据霹步操终， 在s i m b a 系统中采用了如图2 - - 2 的体系结构，其主要的功能模块有查询分析 模块、接口模块、查询处理模块、存储餐理模块、数据阔步模块等。 查谗分橱模块： 该模块向系统提供内部接口，将用户的输入进行语法和语义的分析；并 遴嚣判叛辕入约会法性葶羹有效瞧等预处理；本模块垂诞法、语法分辑帮獗处 理三个主要部分组成。主要的分析目标慰本系统的数据定义语言d d l 和数据 操作语言d m l ，并梅合法和有效的操作请求传递给查询处理模块。 词法分析模块：乖j 爝有限状态税理论依次稿描字符输入串中的各个字符， 并从其中识别出系列基本的原子即单例。这一部分所支持的原子包括关键 掌藩缝或毒关系名字、零数、摇号、数学操雩# 符等。在窝舔懿系统实魂审， 遮部分功能借助了词法分析自动生成工舆f l e x ( f a s t l e x i c a la n a l y z e r g e n e r a t o r ) 。 f l e x 读入指定的输入文传，这个输入文体是将要产生的诞法分擞器故规则撞 述文件，瘟正规斌和c 语言代码组成。f l e x 输出的是名为l e x y y e 的c 语言 源程序。这个程序定义了y y l e x o 接口函数，在l e x 。y y c 稷序运行时，它分析输 入缓净区中戆字褥事并等找歪焱筑及其京豹条传藏燹| j ，撬鹫奚| l 执行稳应的程 序，得到个字符串输出，输出的结果掇交给语法分析器。 西北工业大学硕 j 论文 第二章s i m b ae d b m s 系统分析与设计 圈2 2 $ i m b a 幕抗的体系架柯 语法分析模块：将词法分析器识别出的原子作为输入，并根据相应的语 义规则，分析原子串的语法结构，如果是数据