（计算机应用技术专业论文）联邦数据库事务研究.pdf

华中科技大学硕士学位论文 摘要 支持多种成员数据库和长事务处理的联邦数据库事务( f d b t ) 是一个非常棘手 的向题，提供联邦数据库事务服务意味着需要从局部和全局视图两个方面来操作多 种异构数据源，一这使得传统数据库的事务模型和并发控制方法在联邦数据库系统中 并不适用。j 7 联邦数据库提供了对多种数据源进行统一访问的界面和方法，针对传统事务模 型在联邦数据库的缺陷，给出了联邦数据库系统的事务模型，并使用数学的方法对 其适宜性进行了评价。这个模型为建立联邦数据库设计了灵活的分布式体系结构， 可以不使用全局锁协议而显式地识别和处理事务的并行性。该模型适用于联邦数据 库事务、非传统数据库事务模型和复杂的分布式信息系统。 在有大量的成员数据库参与的情况下，比如有1 0 0 0 个参与的数据库，依赖于两 阶段提交( 2 p c ) 和封锁协议的事务模型几乎只会使事务失败或死锁。使用分布式对 象核心( d o k ) 技术来研究联邦数据库事务的访问控制方法是一个合适的选择。基 于分布式对象核心技术，给出了一种适用于联邦数据库的安全体系结构，使得d o k 系统在自治的、分布的、异构的数据库环境中能够加强其联邦安全策略。 将数据仓库的方法引入联邦事务处理会有许多优点，数据仓库的联机事务处理 ( o l t p ) 和联机分析处理( 0 l a p ) 技术可以加强联邦数据库的事务处理能力。基 于时间戳排序的事务管理算法和调度算法，可以实现简单的联邦数据库事务处理。 最后，给出了这些算法的性能分析和评价。 、?i。、一 一? 关键词：事务管理联邦数据律系统，并发控翻，分布式对象核心，数据库安全， 数据仓库 、 华中科技大学硕士学位论文 a b s t r a c t t h i st h e s i sa d d r e s s e st h ep r o b l e mo ff e d e r a t e dd a t a b a s et r a n s a c t i o n ( f d b t ) s u p p o r tf o r p r o v i s i o n i n g o f l a r g e n u m b e r so f c o m p o n e n t d a t a b a s e sa n d o r v e r y l o n g - d u r a t i o n t r a n s a c t i o n ss e r v i c e s p r o v i s i o n i n go f l a r g es c a l ef e d e r a t e dd a t a b a s es e r v i c e sm e a n sd e a l i n g 、v i t i lv a r i o u sh e t e r o g e n e o u sd a t as o u r c e s 疳o ml o c a la n d g l o b a lv i e w t h er e s e a r c hr e p o r t s o u ra p p r o a c ht o w a r d st h eu s eo ff e d e r a t e dd a t a b a s e t e c h n o l o g y t op r o v i d eu n i f o r ma c c e s st o t h ev a r i o u sd a t as o u r c e s w ee v a l u a t e dt h es u i t a b i l i t yo fas c a l a b l em o d e lf o rl a r g en u m b e r o ff e d e r a t e dd a t a b a s es y s t e m s ，s o m e t h i n gw h i c hi sn o tp r e s e n ti nt h ec u r r e n tl i t e r a t u r e a s s u c h ，i tm a k e ss i g n i f i c a n tc o n t r i b u t i o n st ot h ea r e a so ff e d e r a t e dd a t a b a s et r a n s a c t i o n ， u n c o n v e n t i o n a ld a t a b a s et r a n s a c t i o nm o d e l s ，a n dc o m p l e xd i s t r i b u t e di n f o r m a t i o ns y s t e m s u c ha s ，f l e x i b l ea n dd i s t r i b u t e da r c h i t e c t u r ef o rb u i l d i n gf e d e r a t e dd a t a b a s e sh a sb e e n d e s i g n e d ；d e v e l o p m e n to f t r a n s a c t i o n sm o d e l st h a te x p l i c i t l y c o g l l i z ep a r a l l e l i s ma n dd o n o tu s ea n yg l o b a l l o c k i n g t r a n s a c t i o nm o d e l st h a td e p e n do nt w o - p h a s ec o m m i tw i t h l o c k i n ga r ea l m o s tg u a r a n t e e d t of a i lo rd e a d l o c kw h e n a p p l i e d t ol a r g en u m b e ro fd a t a b a s e l i k e1 ，0 0 0p a r t i c i p a t i n gd a t a b a s e s t h i st h e s i s a t t e m p t st oe x p l o r et h ed i s t r i b u t e do b j e c t k e r n e l ( d o k ) w h i c hi s af e d e r a t e dd a t a b a s e s y s t e mt h a ts t u d yt h ed e v e l o p m e n to fa f e d e r a t e da c c e s sc o n t r o l ，a sw e l la sas e c u r el o g i c a la r c h i t e c t u r ea l l o w i n gt h ed o k s y s t e m t oe n f o r c ef e d e r a t e d s e c u r i t yp o l i c i e s i nt h ec o n t e x to fa u t o n o m o u s ，d i s t r i b u t e da n d h e t e r o g e n e o u sd a t a b a s e s t h i st h e s i sa l s ot r i e st oe x p l a i nt h eb e n e f i t so f d a t aw a r e h o u s i n g f o rt h ef e d e r a t e dd a t a b a s et r a n s a c t i o na n di n t r o d u c e st h eo l t pa n do l a po fd a t a w a r e h o u s i n gt oe n h a n c et h et r a n s a c t i o nc a p a b i l i t yo f f e d e r a t e dd a t a b a s es y s t e m s f i n a l l y ， t h e i m p l e m e n t a t i o n o ft i m e s t a m p o r d e r i n g t r a n s a c t i o n m a n a g e ra l g o r i t h m a n ds c h e d u l e r a l g o r i t h m i nt h ea r e ao ff e d e r a t e dd a t a b a s et r a n s a c t i o na r e g i v e n ，a n dt h ep e r f o r m a n c e e v a l u a t i o na n d a n a l y s i sf o rf e d e r a t e dt r a n s a c t i o nm a n a g e m e n t i sd i s c u s s e d k e y w o r d s ：t r a n s a c t i o nm a n a g e m e n t ，f e d e r a t e dd a t a b a s es y s t e m s ，c o n c u r r e n c y c o n t r o l ，d i s t r i b u t e do b j e c tk e r n e l ，d a t a b a s es e c u r i t y ，d a t aw a r e h o u s i n g 工 华中科技大学硕士学位论文 l i s to ft a b l e s t a b l e2 1a v a i l a b i l i t yc l a s s i f i c a t i o n n 0 1 t a b l e4 1 p r o b a b i l 时o f a l ld a t a b a s e s b e i n g a v a i l a b l eb y t y p e & n u m b e r ( 3 8 ) t a b l e4 2o r g a n i z a t i o n t a b l e ( 4 1 、 t a b l e4 3l i f eh i s t o r yt a b l e f 4 1 ) t a b l e4 4t r a n s a c t i o no f e d u c a t i o n & j o b h i s t o r y f 4 1 ) t a b l e4 5 s p e e d u pa n dp r o c e s s o r s f 4 4 1 t a b l e5 1o l t pa n do l a pd a t a b a s es t r u c t u r e ( 5 9 ) v 华中科技大学硕士学位论文 l i s to f f i g u r e s f i g u r e 2 1 t a x o n o m y o ff e d e r a t e dd a t a b a s es y s t e m s r 8 、 f i g u r e2 2p r o b a b i l i t yo f f a i l u r ep x y z ( t ) w i t hm t b f ( s a m p l e s i z e1 0 0 ) ( 1 3 ) f i g u r e2 3p r o b a b i l i t yo f f a i l u r ep x y z ( t ) w i t hm t b f ( s a m p l e s i z e1 ，0 0 0 ) ( 1 3 ) f i g u r e2 4p r o b a b i l i t yo f f a i l u r ep x y z ( t ) w i t hm t b f ( s a m p l es i z e1 0 ，0 0 0 ) ( 1 4 ) f i g u r e3 1 f e d e r a t e dd a t a b a s e s y s t e ma r c h i t e c t u r e f 1 8 1 f i g u r e3 2t h e d o k p h y s i c a la r c h i t e c t u r e f 1 9 1 f i g u r e3 3as i n g l e f e d e r a t i o nm u l t i d a t a b a s es y s t e m f 2 3 、 f i g u r e3 4m u k i p l e f e d e r a t i o n sm u l t i d a t a b a s es y s t e m ( 2 4 、 f i g u r e3 5d a t a b a s e f a c i l i t a t o rc o m p o n e n t s 一f 2 5 1 f i g u r e3 6f e d e r a t e d d a t a b a s es c h e m a a r c h i t e c t u r e f 2 8 1 f i g u r e3 7q u e r ym e d i a t i o ni nf e d e r a t e dd a t a b a s e ( 3 0 1 f i g u r e 3 8s c h e m a si nt i g h t l y i n t e g r a t e df i s ( 3 2 ) f i g u r e3 9l o o s e l yi n t e g r a t e df i s f 3 3 1 f i g u r e 4 1d a g r e p r e s e n t a t i o no f t r a n s a c t i o n ( 3 6 、 f i g u r e4 2e rd i a g r a m sf o re m p l o y m e n t 一f 4 0 、 f i g u r e 4 3f e d e r a t e dd a t a b a s ew i t he x t e m a l l y r e p l i c a t e dd a t a f 4 3 1 f i g u r e4 4b a s i cs c h e m a o f as e c u r i t ym o d e l h 6 1 f i g u r e4 5t h e c o l l a b o r a t i o nb e t w e e nd o k a g e n t s f 4 7 1 f i g u r e5 1 t h e i n t e g r a t e dd a t aw a r e h o u s em o d e l r 5 6 、 f i g u r e5 2a r c h i t e c t u r eo f a d a t a w a r e h o u s i n g f 5 7 1 f i g u r e5 3a r c h i t e c t u r eo f d a t aw a r e h o u s ei n t e g r a t o r ( 5 8 、 v i 华中科技大学硕士学位论文 c h a p t e r 7 i n t r o d u c t i o n 1 1r e s e a r c hp r o b l e m s t h em a i na i mo f t h er e s e a r c h s t u d y i st om a k ead e t a i li n v e s t i g a t i o n0 1 1t h eg e n e r a l p r o b l e m a n ds o l u t i o no f l a r g es c a l ef e d e r a t e dd a t a b a s ea v a i l a b i l i t y ，a c c e s s i b i l i t y ，a u t o n o m y ，s e c u r i t y ， a r c h i t e c t u r a ld e s i g na n dt r a n s a c t i o nm o d e lo f f e d e r a t e dd a t a b a s et r a n s a c t i o n t om a k ep o s i t i v ec h a n g e si nt h ea t t i t u d e sa n d p r a c t i c e so f t h ek e yo b j e c t i v e ，i np r o v i d i n g f e d e r a t e dd a t a b a s ea n dd i s t r i b u t e do b j e c tm a n a g e m e n ti nad y n a m i ca n do p e ni n f o r m a t i o n u n i v e r s ei st h es c a l a b i l i t ya n de f f e c t i v e n e s so fr e m o t ed a t aa c c e s sa n dd e l i v e r y ；a n dw e a s s u m et h a te a c hl o c a ld b m s e n s u r e s ( a c i dp r o p e r t i e s ) o f t r a n s a c t i o n se x e c u t e d a ti t ss i t e t h i sr e s e a r c hd e f i m e sa r c h i t e c t u r ea n df r a m ew o r kt h a tf e d e r a t e dt r a n s a c t i o nm a yb eb u i l t ； t h ea r c h i t e c t u r ei sb a s e do nh a v i n gas e to fd a t a b a s ef a c i l i t i e st om a n a g et h ei n t e r f a c ew i t h t h ec o m p o n e n td a t a b a s e s d i s t r i b u t i n gc o n t r o la n dd e c i s i o nm a k i n ga l l o w st h eu s e rt o e x p l o i tm o s to ft h ea v a i l a b l ep a r a l l e l i s m 、v i m m 也i st y p eo fs y s t e mi no r d e rt op r o v i d e s e a l a b i l i t y c o n c m r e n c yc o n t r o li sp r o v i d e db yt i m es t a m p i n ga n dt r a n s a c t i o nc l a s s e s a 1 t h o u g l ls e r i a l i z a b i l i t yi ss u p p o r t e d ( a sad e g e n e r a t ec a s e ) ，t h i sa r c h i t e c t u r ei sd e s i g n e dt o s u p p o r tn o n - t r a d i t i o n a ia p p l i c a t i o n st h a tc a ne x p l o i ts e m a n t i c - b a s e dc o n c u r r e n c yc o n t r o l a n dn o n s e r i a lt r a n s a c t i o nh i s t o r i e s af e d e r a t e dd a t a b a s e n m i sav i r t u a ld a t a b a s el a y e ro nt o po fac o l l e c t i o no fa u t o n o m o u s s o u r c ed a t a b a s e i tp r o v i d e sau n i f o r mi n t e g r a t e dv i e wo nt h et o t a lc o l l e c t i o no fs o u r c e d a t a b a s e s d a t ar e m a i n sa tt h es o u r c ed a t a b a sa n di sn o tc o p i e dt oac e n t r a ld a t a b a s e ( a s o p p o s e dt oad a t aw a r e h o u s e ) i ng e n e r a l ，t w om a j o rd e s i g na p p r o a c h e sa r ea v a i l a b l ef o r f e d e r a t i n gd a t a b a s e s ： g l o b a ls c h e m af e d e r a t e dd a t a b a s e s ， f e d e r a t e dd a t a b a s e sl a n g u a g es y s t e m s t h ef o r m e ra p p r o a c ht a k e st h ei n d e p e n d e n t l yd e v e l o p e dl o c a ls c h e m a s ，r e s o l v e ss e m a n t i c a n ds y n t a c t i cd i f f e r e n c e sa n dc r e a t e sa ni n t e g r a t e ds u m m 趣, yo f a l li n f o r m a t i o no f t h eu n i o n o ft h el o c a ls c h e m a s t h i s a p p r o a c h i sa l s ok n o w na sv i e wi n t e g r a t i o n t h el a t t e ra p p r o a c h ( 1 a n g u a g es y s t e m s ) u s e so n el a n g u a g et oa c c e s sa l ll o c a ld a t a b a s e s t h ef e d e r a t e dl a n g u a g e m u s t i n c o r p o r a t et h e r e f o r ea l lb a s i cf e a t u r e so f e v e r y l o c a ld a t a b a s el a n g u a g e t h en e e dt oa c c e s sd a t as t o r e di n m u l t i p l e a u t o n o m o u sa n dp o s s i b l y h e t e r o g e n e o u s d a t a b a s e sh a sl e dt ot h ed e v e l o p m e n to ff e d e r a t e dm u l t i - d a t a b a s es y s t e m 【j j 0 n eo ft h e m a j o ri s s u e si ns u c hs y s t e m si s t h em a n a g e m e n to fm u l t i - d a t a b a s et r a n s a c t i o n s s i n c e m u l t i d a t a b a s et r a n s a c t i o n s f r e q u e n t l y i n v o l v e l o n g r u n n i n g a c t i v i t i e s s o m eo ft h e r e q u i r e m e n t so f t r a d i t i o n a lt r a n s a c t i o n ss u c ha sa t o m i c i t y i s o l a t i o na n dd u r a b i l i t y p 1m a y 华中科技大学硕士学位论文 b e c o m et o or e s t r i c t i v ef o rs u c h t r a n s a c t i o n s t h e r e f o r e ；t h e r eh a v eb e e ns e v e r a la t t e m p t st o i n t r o d u c eat r a n s a c t i o nm o d e lt h a tw o u l db em o r es u i t a b l ef o rm u l t i d a t a b a s ee n v i r o n m e n t i nac e n t r a l i z e dd a t a b a s es y s t e m ，a l ls y s t e mr e s o u r c e ss u c ha sd a t a , d b m ss o f t w a r e ，a n d a p p l i c a t i o n se x i s ta tas i n g l ec o m p u t e ro rs i t e i naf d b ss y s t e mr e s o u r c e sa r es p r e a do v e r m u l t i p l es i t e so f a c o m p u t e rn e t w o r k ，f r e q u e n t l yc o m p o s e do fh e t e r o g e n e o u sh a r d w a r ea n d s o f t w a r e t h e r ea r es e v e r a lr e a s o n sw h yf d b s sa r ed e v e l o p e d ：m a n y o r g a n i z a t i o n sa r ed e c e n t r a l i z e d a n daf d b sf i t sm o r en a t u r a l l yw i t ht h es t r u c t u r eo fs u c ho r g a n i z a t i o n s af d b si st h e n a t u r a ls o l u t i o nw h e ns e v e r a ld a t a b a s e se x i s ta n dt h e r e i san e e dt o p e r f o r mg l o b a l a p p l i c a t i o n s af d b ss u p p o r t si n c r e m e n t a lg r o w t ho f a no r g a n i z a t i o n f d b s so f f e rs e v e r a la d v a n t a g e so v e rc e n t r a l i z e dd a t a b a s es y s t e m s ： m o r e e q u a l a c c e s st oc o m p u t e rr e s o u r c e so nt h en e t w o r k ； i m p r o v e dr e l i a b i l i t ya n da v a i l a b i l i t y ； a l l o w i n gd a t as h a r i n gw h i l em a i n t a i n i n gs o m em e a s u r eo f l o c a lc o n t r o l ； i m p r o v e dp e r f o r m a n c e e v e n t h o u g h t h ei m p l e m e n t a t i o no ff d b s s m a y d i f f e rs i g n i f i c a n t l y ，t h e i ra r c h i t e c t u r em u s t f o l l o was e to f r e q u i r e m e n t s ： f e d e r a t e dd a t a b a s ep r o b l e mt ot h ea u t o n o m ya n dh e t e r o g e n e i t yi nd a t as o u r c e si s t h e i r p h y s i c a l d i s t r i b u t i o n s i n c em o s tc o m p u t e r sa r e n o w a d a y sc o n n e c t e dt o s o m et y p eo f n e t w o r k ，e s p e c i a l l yt h ei n t e r a c t , i ti sn a t u r a lt ot l l i n ko fc o m b i n i n ga p p l i c a t i o na n dd a t a s o u r c e st h a ta r ep h y s i c a l l yl o c a t e do nd i f f e r e n th o s t s ，b u tt h a tc a nc o m m u n i c a t e t h r o u g h t h e n e t w o r k d i s t r i b u t i o ni sa t t a c k e db yan u m b e ro fs u c c e s s f u lt e c h n i q u e s s u c ha sh t t p o rc o r b a u s i n gf o ri n s t a n c ec o r b a ，a p p l i c a t i o n sc a nb ed e v e l o p e dt h a tc a l li g n o r et h ep h y s i c a l l o c a t i o no fc o m p o n e n t st oal a r g ed e g r e e w et h e r e f o r ed on o tt r e a td i s t r i b u t i o na sa s e p a r a t ep r o b l e mi nt h i st h e s i sa n da s s u m et h a td a t ai sd i s t r i b u t e do v e rc o m p o n e n t sw h i c h s h a r en e i t h e rm e m o r yn o r d i s k ( s h a r e dn o t h i n g ”，吼 f a u l t - t o l e r a n c e ：i nl a r g es c a l ew o r k f l o ws y s t e m st h e r ew i l lb eav a r i e t yo f c o m p o n e n t s i n v o l v e di nt h ee x e c u t i o no fe v e r ya c t i v i t yw i t h i nap r o c e s s t h e s y s t e mm u s tt o l e r a t e f a i l u r e so f a n yo f t h e s ec o m p o n e n t s f o ri n s t a n c e ，w h e naw o r k f l o w e n g i n ei sn o ta v a i l a b l e ， i ts h o u l db ep o s s i b l et oa u t o m a t i c a l l yc o n n e c tt h ec l i e n t st oo t h e re n 。# n e st oc o n t i n u et h e e x e c u t i o no f t h ep r o c e s s s c a l a b i l i t y ：t h em a j o rd r a w b a c ko fe x i s t i n gs y s t e m si st h a tt h e ya r en o ta b l et om a n a g e 、v i t h l a r g es c a l ee n v i r o n m e n t s i nt h eb e s tp o s s i b l es c e n a r i o s c o m m e m i a ls y s t e m sc a nb e u s e dw i t hu pt o4 0u s e r sa n daf e wh u n d r e d p r o c e s s e sr u n n i n gc o n c u r r e n t l y t h i si sf a rf r o m t h ef i g u r e so n ee n c o u n t e r sa sc o m m o n r e q u i r e m e n t s 2 华中科技大学硕士学位论文 a v a i l a b i l i t y ：v e r yl a r g ew o r k f l o wm a n a g e m e n ts y s t e m sw i l li n v o l v es e v e r a lt h o u s a n d u s e r s ，h u n d r e d so ft h o u s a n d so fc o n c u r r e n t l yn m n i n gp r o c e s s e sa n ds e v e r a lt h o u s a n ds i t e s d i s t r i b u t c do v e rw i d ea r e an e t w o r k s c o n c u r r e n c y ：c o r r e c t n e s s o f p a r a l l e l t r a n s a c t i o n s i n d a t a b a s e si se n s u r e d b y s e f i a l i z a b i l i t y t h i si sat o on a l t o wd e f i n i t i o no fc o r r e c t n e s s ，n o ts u i t a b l ef o rw o r k f l o w s e n v i r o n m e n t sb e c a u s ew o r k f l o w ss p a nm u l t i p l es y s t e m sa n dt h e i re x e c u t i o nm a yt a k e s e v e r a ld a y so rw e e k s t a k i n g i n t oc o n s i d e r a t i o na l lt h e n e c e s s a r yp a r a m e t e r s ，p o s s i b l e v a r i a t i o n sa n da n i n t e r r e l a t e de l e m e n t so ff e d e r a t e dd a t a b a s et r a n s a c t i o n , t h eg o a lo ft h er e s e a r c hs t u d yi st o a s s e s sp r o b l e m st h a tc o u l do c c u rd u et ol a r g es c a l ed a t a b a s ei n f o r m a t i o na n do t h e r sa l r e a d y e x i s t i n gs t r u c t u r e s a n ds t a t ep o s s i b l em o d e l sa n dm e t h o d o f m a n a g e m e n t o nt h eb a s i so f b a s i ct h e o r ya sw e l la sg e n e r a lc o n d i t i o n 1 20 l i tc o n t r i b u t i o d $ a l a r g e - s c a l ei n t e r o p c r a b l ed a t a b a s es y s t e mo p e r a t i n gi nad y n a m i ce n v i r o n m e n ts h o u l d p r o v i d eu n i f o r ma c c e s su s e ri n t e r f a c et oi t sc o m p o n e n t s ，s c a l a b i l i t yt ol a r g e rn e t w o r k s ， e v o l u t i o no fd a t a b a s es c h e m aa n da p p l i c a t i o n s ，f l e x i b l ec o m p a t i b i l i t yo fc l i e n ta n ds e r v e r c o m p o n e n t s ，a n dp r e s e r v ec o m p o n e n ta u t o n o m y t h i sr e s e a r c hp r e s e n t sas c a l e a b l em o d e lf o rl a r g ef e d e r a t e dd a t a b a s et r a n s a c t i o na n d s y s t e m s ，s o m e t h i n gw h i c hi s n o tp r e s e n ti nt h ec u r r e n tl i t e r a t u r e a s s u c h ，i tm a k e s s i g n i f i c a n tc o n t r i b u t i o n st ot h ea r e a so ff e d e r a t e dd a t a b a s et r a n s a c t i o n s ，u n c o n v e n t i o n a l d a t a b a s e 订a u s a e d o nm o d e l s ，f e d e r a t e ds y s t e m s ，a n dc o m p l e xd i s t r i b u t e di n f o r m a t i o n s y s t e