（计算机应用技术专业论文）xml统计研究.pdf

j j 摘要 作为在i n t e m e t 上信息表示，传输和存储的标准，x m l 在w e b 上得到越 来越广泛的应用。现在越来越多的数据交换技术转向了使用x m l 格式，x m l 文件变得更完善，对这些文件的分析和统计就变得越来越重要。组织化的信息 可以帮助我们构造有效的查询处理起来进行对w e b 的查询。有很多负责的方法 可以用来提取统计信息，比如使用s a x 解析，计算算法，或复杂的d o m 树计数 算法，或使用s t a t i x 软件。而本文介绍了一种新的提取x m l 统计信息的技术， 这就是使用p e a rp h p 数据仓库中的x m l _ s t a t i s t i c s 类。对x m l 文件的统计 或提取的数据可以有很多应用，从为用户的查询提供快速的反馈，到根据查询 代价进行的存储设计和查询优化 关键词x m l 统计，s a x ，d o m ，p e a rp h p , p i ，x m l 阶系，c d a t a ，j i、，气基； 竹 m 生童查兰竺主堂垒丝兰竺! ! 垒! 三 a b s ，i a c t a st h es t a n d a r do fi n f o r m a t i o nr e p r e s e n t a t i o n 。t r a n s f e r , a n ds t o r a g eo n t h ew e b ，x m lh a sb e e nu s e dm o r ea n dm o r ew i d e l y , a n ds i n c em o r ea n d m o r ed a t ai n t e r c h a n g et e c h n o l o g ym o v e st ot h ex m lf o r m a t a n da sx m l f i l e s g e t t i n gm o r es o p h i s t i c a t e d ，i ti sn e c e s s a r y t oa n a l y z et h e s ef i l e sa n dg e n e r a t a s t a t i s t i c a li n f o r m a t i o na b o u tt h e m t h i so r g a n i z e di n f o r m a t i o nw i l lh e l pu st o d e v e l o pe f f i c i e n tq u e r y p r o c e s s o r sf o rq u e r y i n gt h ew e b t h e r ea r em a n y i n t r i g u em e t h o d st os u m m a d z et h es t a t i s t i c a li n f o r m a t i o ns u c h a st ow d t e c o m p l e xs a xp a r s i n g c a l c u l a t i o nr o u t i n e so rc o m p l i c a t e dd o m t r e ec o u n t i n g a l g o r i t h m so ru s i n gt h es t a t i xs o f t w a r e b u ti nt h i sp a p e rac o m p l e t e l yn e w s e t o ft e c h n o l o g yw i l lb ei n t r o d u c e df o re x t r a c t i n gt h ex m l s t a t i s t i c s t h a ti su s i n g t h ex m l _ s t a t i s t i c sc l a s s 。a v a i l a b l ei nt h ep e a rp h pr e p o s i t o r y t h es t a t i s t i c s o rs u m m a r yd a t af o rx m ld o c u m e n t sh a sm a n ya p p l i c a t i o n s f r o mp r o v i d i n g u s e r sw i t hq u i c kf e e d b a c ka b o u tt h e i rq u e n e s t oc o s t - b a s e ds t o r a g ed e s i g n a n dq u e r yo p t i m i z a t i o n k e yw o r d sx m ls t a t i s t i c s ，s a x ，d o m ，p e a rp h p , p i ，x m lh i e r a r c h y , a n d i i ) ) pli plj， j j 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：厶丛銮缸日期：z a q 解脚出日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：胁导师签名型昱蝽。盈日期：池年埘2 占 p-i再甲k“，犀_t-；l，r j 中南丈学硕士学位论文 c h a p t e ro n e i n t r o d u c n 0 n x m li sam e t a l a n g u a g ew d f f e ni ns g m lt h a ta l l o w so n et od e s i g na m a r k u pl a n g u a g e ；i ti su s e dt oa l l o wf o rt h ee a s yi n t e r c h a n g eo fd o c u m e n t s o nt h ew o r l dw i d ew e b a no p e ns t a n d a r df o rd e s c r i b i n gd a t a f r o mt h ew 3 c i ti su s e df o rd e f i n i n gd a t ae l e m e n t so naw e bp a g ea n db u s i n e s s - t o - b u s i n e s s d o c u m e n t s x m lu s e sas i m i l a rt a gs t r u c t u r ea sh t m l ：h o w e v er jw h e r e a s h t m ld e f i n e sh o we l e m e n t sa r ed i s p l a y e d 。x m ld e f i n e sw h a tt h o s ee l e m e n t s c o n t a i n w h i l eh t m lu s e sp r e d e f i n e dt a g s x m la l l o w st a g st ob ed e f i n e db y t h ed e v e l o p e ro ft h ep a g e t h u s 。v i r t u a l l ya n yd a t ai t e m s ，s u c ha s ”p r o d u c t 。” ”s a l e sr e p a n d ”a m o u n td u e 。”c a nb ei d e n t 币e d 。a l l o w i n gw e bp a g e st o f u n c t i o nl i k ed a t a b a s er e c o r d s b yp r o v i d i n gac o m m o nm e t h o df o ri d e n f i f y i n g d a t a x m ls u p p o r t sb u s i n e s s - t o b u s i n e s st r a n s a c 【i o n sa n dh a sb e c o m e 。、h e 竹 f o r n l a tf o re l e c t r o n i cd a t ai n t e r c h a n g ea n dw e bs e r v i c e s 1 1p r e f a e e s i n c ei t si n t r o d u c t i o ni n19 9 8 x m lh a sb e e nh y p e da st h ep a n a c e at o e - c o m m e r c e ，b u ti tw a so n l yt h ef i r s ts t e p t h eh u m a n - r e a d a b l ex m lt a g s p r o v i d eas i m p l ed a t af o r m a t ，b u tt h ei n t e l l i g e n td e f i n i n g o ft h e s et a g st os e r v e b u s i n e s sn e e d sp r o p e r l ya n de v e r y o n e sa d h e r e n c et ou s i n gt h es a m et a g s d e t e r m i n e st h et e a iv a l u eo fx m l c o u n t l e s sv o c a b u l a r i e sh a v eb e e n d e v e l o p e df o rv e r t i c a la p p l i c a t i o n s ；s om a n y i nf a c t t h a tau n i v e r s a ll a n g u a g e w a sd e v e l o p e dt op r o v i d eas t a n d a r df o ri n t e r o p e r a b i l i t yb e t w e e nt h e m x m l s t a t i s t i c sr e f e r st ot h es t a t i s t i c a l i n f o r m a t i o na b o u tt h ee l e m e n t s 。a t l d b u t e s 。 a n do t h e rc o m p o n e n t so fa nx m lf i l e 1 2r e s e a r c hc o n t e n ta n dr e s e a r c hs i g n i f i c a n c e t h es t a t i s t i c so rs u m m a r yd a t af o rx m ld o c u m e n l sh a sm a n ya p p j i c a f i o n s ， f r o mp r o v i d i n gu s e r sw i t hq u i c kf e e d b a c ka b o u tt h e i rq u e r i e s ，t oc o s t - b a s e d s t o r a g ed e s i g na n dq u e r yo p t i m i z a t i o n s t a t i x i l i san o v e lx m l 一-、， 中南大学硕士学位论文 c h a p t e ro n ei n t r o d u c t i o n s c h e m a a w a r es t a t i s t i c sf r a m e w o r kt h a te x p l o i t st h es t r u c t u r ed e r i v e db y r e g u l a re x p r e s s i o n s ( w h i c hd e f i n ee l e m e n t si n a nx m ls c h e m a ) t op i n p o i n t p l a c e s nt h es c h e m at h a t a r el i k e l ys o u r c e so fs t r u c t u r a ls k e w s t a t i x l e v e r a g e ss t a n d a r dx m lt e c h n o l o g yf o rg a t h e r i n gs t a t i s t i c s n o t a b l yx m l s c h e m av a l i d a t o r s 圆a n di tu s e sh i s t o g r a m st os u m m a r i z eb o t ht h es t r u c t u r e a n dv a l u e si na nx m ld o c u m e n t t h i sp r o p o s a la i m st of i g u r eo u tt h e e 仟i c i e n c yo fs t a t i x a sas t a n d a r dx m l s t a t i s t i c sf r a m e w o r k 1 3r e s e a r c hb a c k g r o u n da n dp r e s e n ts i t u a t i o n m a n yd e f e r e n tt e c h n i q u e sf o rb u i l d i n gs t a t i s t i c sf o rs t a t i cx m l d a t ah a v e r e c e n t l yb e e np r o p o s e d t h et e c h n i q u e si nb u i l ds t a t i s t i c st h a ta r eu s e dt o e s t i m a t et h es e l e c t i v i t yo ft w i gq u e r i e s 。o rb r a n c h i n gp a t he x p r e s s i o n s t h e t e c h n i q u e sp r o p o s e di np r o v i d em o r ea c c u r a t es e l e c t i v i t ye s t i m a t e sf o rt h e c a s eo fs i m p l ep a t he x p r e s s i o n s ，w h i c ha r ep a t he x p r e s s i o n st h a th a v eo n e b r a n c ha n dn a v i g a t ej nt h ex m ld a t ab a s e do ns t r u c t u r e w i t h o u tc o n d i t i o n s 。p m p o s e sas t a t i s t i c sf r a m e w o r kt h a tl e v e r a g e si n f o r m a t i o nf r o mt h ex m l s c h e m ao fad o c u m e n t p r o p o s e sas y n o p s i sd a t as t r u c t u r ef o rg r a p h s t r u c t u r e dx m ld a t a a n de x t e n d st h i sf r a m e w o r kt oh a n d l ev a l u e s w h i l e p a p e r sr e p r e s e n ts i g n i f i c a n ta d v a n c e si nt h ea r e ao fs t a t i s t i c sf o rs t a t i cx m l d a t a ，t h et e c h n i q u e st h e yp r o p o s ea r en o ta p p l i c a b l et ot h eh i d d e nw e b 。a s t h e yr e q u i r ea c c e s st ot h ed a t a ，a n ds o m e t i m e si t ss c h e m a ，t oc o n s t r u c tt h e s t a t i s t i c s t h eo n l yp a p e rp r o p o s i n ga no n l i n et e c h n i q u ef o rc o n s t r u c t i n gx m l s t a t i s t i c si s t h et e c h n i q u ep r o p o s e di nt h a tp a p e rc a no n l yh a n d l ev e r y s i m p l ec o n d i t i o n si nt h ep a t he x p r e s s i o n so ft h ef o r n lt a g = ”v a l u e ”。w h e r e a s s t r u c t u r a ip r o p e r t i e so fx p a t hf r a g m e n t sf o c u so nh a n d l i n gc o m p l e x c o n d i t i o n s a l s o t h et e c h n i q u ei no n l yc a p t u r e si o c a l n f o r m a t i o na b o u tt h e s t e p so ft h ep a t he x p r e s s i o n s ，w h e r e a st e c h n i q u ec a p t u r e si n f o r m a t i o na b o u t e n t i r ep a t he x p r e s s i o n s t h e r eh a v eb e e ns e v e r a it e c h n i q u e sp r o p o s e df o r b u i l d i n gs t a t i s t i c sf o rs t a t i cx m ld a t a h o w e v e r , v e r yl i t t l ew o r kh a sb e e nd o n e i nt h ea r e ao fb u i l d i n gx m ls t a t i s t i c sf o rd a t as o u r c e st h a te x p o r tx m lv i e w s o fd a t at h a ti ss t o r e di nt e l a t i o n a lo ro t h e rd a t a b a s e s 2 ： i 。 l ， j ) 气 ， 中南大学硕士学位论文 c h a p t e ro n ei n t r o d u c 兀o n 1 4b a s i cr e s e a r c hm e t h o d a n dt h i n k i n g 1 4 1e s t i m a t e ds t e p s ： f o l l o w i n ga r et h ee s t i m a t e ds t e p st oe v a l u a t et h ee f f i c i e n c yo f s t a t i x ： x m l s c h e m a - b a s e ds t a t i s t i c s c o l l e c t i o n ：b ye m p l o y i n gx m l s c h e m at y p e sa st h eb a s i sf o rs t a t i s t i c sg a t h e r i n g ，a n ds t a t i xw i l lp r o d u c e c o n c i s e ，y e ta c c u r a t e ，s u m m a r i e so fx m l d a t a h i s t o g r a m - b a s e ds t a t i s t i c sm a i n t e n a n c e ：t h eu s eo fh i s t o g r a m s e n a b l e ss i 【a t i xt om a i n t a i ns c a l a b l ea n ds y m m e t r i cs u m m a r i e so fb o t ht h e s t r u c t u r e so ft h et y p e sa sw e l la st h ev a l u e si nt h ed a t a 1 4 2e x p e r i m e n t a lp r o c e s s ： s t a t i xe x p l o i t sx m ls c h e m av a l i d a t i o ni no r d e rt oc o l l e c ts t a t i s t i c s f o l l o w i n gt ow a y sw ec a nr e a c ht h eg o a l ： f i g u r e1 ：s t a t i s t i c sc o l l e c t i o ni ns t a t i x 1 g ot h r o u g hp r o p e r w o r k i n gf l o wo fas c h e m av a l i d a t o r , a l o n gw i t ha f e wc o m p l e x i t yr e s u l t s 2 d e m o n s t r a t eh o ws t a t i xm o d i f i e st h ev a l i d a t i o np r o c e s si no r d e rt o c o l l e c ts t a t i s t i c s 1 5t h e s i ss t r u c t u r e n e x tf e wc h a p t e r sa r eo r g a n i z e di nt h ef o l l o w i n g w a y s ： c h a p t e rt w oi n t r o d u c e st h ed e f i n i t i o no fd e t a i lc o m p o n e n t si nx m l s t a t i s t i c s ，i n c l u d i n gt h ee l e m e n t s ，t a g s 。p c d a t a 。c d a t ae t c c h a p t e r t h r e et a l k sa b o u tt h ei m p o r t a n c ea n di m p l e m e n t a t i o no fx m l ，一、； 中南大学硕士学位论文 s t a t i s t i c si nd i f f e r e n ta s p e c t s c h a p t e r f o u rd i s c u s s e st h ec o r ew o r ko fp h pa n dx m ls t a t i s t i c s c h a p t e rf i v es u m su pt h ew h o l et h e s i sa n dr e s e a r c hw o r ka n dg i v e t h ei d e aa b o u tf u r t h e rr e s e a r c h 4 自 、； p ， j 、 中南大学硕士学位论文c h a p t e r 下i 】l ，0 x m l s t r u c t u r e s c h a p t e rt w o x m es t r u c t u r e s e x t e n s i b l em a r k u pl a n g u a g e ，a b b r e v i a t e dx m l d e s c r i b e sac l a s so f d a t ao b j e c t sc a l l e dx m ld o c u m e n t sa n dp a r t i a l l yd e s c r i b e st h eb e h a v i o ro f c o m p u t e rp m g m m sw h i c hp r o c e s st h e m x m li sa na p p l i c a t i o np m f i l eo r r e s t r i c t e df o mo fs g m l ，t h es t a n d a r dg e n e r a l i z e dm a r k u pl a n g u a g e 【i s o 8 8 7 9 b yc o n s t r u c t i o n 。x m ld o c u m e n t sa r ec o n f o r m i n gs g m ld o c u m e n t s 2 1i n t r o d u c t i o n ： x m ld o c u m e n t sa r em a d eu po fs t o r a g eu n i t sc a l l e de n t i t i e s w h i c h c o n t a i ne i t h e rp a r s e do ru n p a r s e dd a t a p a r s e dd a t ai sm a d eu po fc b a 聪k 椭 s o m eo fw h i c hf o r mc h a r a c t e rd a m ，a n ds o m eo fw h i c hf o r mm a r k u p m a r k u p e n c o d e sad e s c r i p t i o no ft h ed o c u m e n t ss t o r a g el a y o u ta n dl o g i c a ls t r u c t u r e x m lp r o v i d e sam e c h a n i s mt oi m p o s ec o n s t r a i n t so nt h es t o r a g el a y o u ta n d i o g i c a ls t r u c t u r e 2 2o r i g i na n dg o a l s x m lw a sd e v e l o p e db ya nx m lw o r k i n gg r o u p ( o r i g i n a l l yk n o w na st h e s g m le d i t o r i a ir e v i e wb o a r d lf o r r n e du n d e r 仇ea u s p i c e so ft h ew o r l dw i d e w e bc o n s o r t i u m ( w 3 c ) i n1 9 9 6 i tw a sc h a i r e db yj o nb o s a ko fs u n m i c r o s y s t e m sw j t ht h ea c t i v ep a r t i c i p a t i o no fa nx m ls p e c i a li n t e r e s tg r o u p ( p r e v i o u s l yk n o w na st h es g m lw o r k i n gg r o u p ) a l s oo r g a n i z e db yt h ew 3 c t h em e m b e r s h i po ft h ex m lw o r k i n gg r o u pi sg i v e ni na na p p e n d i x d a n c o n n o l l ys e r v e da st h ew o r k i n gg r o u p sc o n t a c tw i t ht h ew 3 c t h ed e s i g ng o a l sf o rx m la r e ： 1 x m ls h a l ib es t r a i g h t f o r w a r d l yu s a b l eo v e rt h ei n t e m e t 2 x m ls h a l ls u p p o r taw i d ev a r i e t yo fa p p l i c a t i o n s 3 x m ls h a l ib ec o m p a t i b l ew i t hs g m l 4 。i ts h a l lb ee a s yt ow r i t ep r o g r a m sw h i c hp r o c e s sx m ld o c u m e n t s 中南大学硕士学位论文 c h a p t e r t w o x 札s t r u c t l j r e s 5 t h en u m b e ro fo p t i o n a lf e a t u r e si nx m li st ob ek e p tt ot h ea b s o l u t e m i n i m u m i d e a l l yz e r o 6 x m ld o c u m e n t ss h o u l db eh u m a n - l e g i b l ea n dr e a s o n a b l yc l e a r 7 t h ex m ld e s i g ns h o u l db ep r e p a r e dq u i c k l y 8 t h ed e s i g no fx m ls h a l lb ef o r m a la n dc o n c i s e 9 x m ld o c u m e n t ss h a l lb ee a s yt oc r e a t a 10 t e r s e n e s si nx m lm a 一u pi so fm i n i m a li m p o r t a n c e t h i ss p e c i f i c a t i o n ，t o g e t h e rw i t ha s s o c i a t e ds t a n d a r d s ( u n i c o d e u n i c o d e 】 a n di s o ，i e c1 0 6 4 6b s o m c1 0 6 4 6 】f o rc h a r a c t e r s ，i n t a m e tr f c3 0 6 6 【i e t f r f c3 0 6 6 】f o rl a n g u a g ei d e n t i f i c a t i o nt a g s ，i s o6 3 9 【i s o6 3 9 】f o rl a n g u a g e n a m ec o d e s ，a n di s o3 1 6 6 i s o3 1 6 6 】f o rc o u n t r yn a m ec o d e s ) ，p r o v i d e sa l l t h ei n f o r m a t i o nn e c e s s a r yt ou n d e r s t a n dx m lv e r s i o n1 0a n dc o n s t m c t c o m p u t e rp r o g r a m st op r o c e s si t t h i sv e r s i o no ft h ex m ls p e c i f i c a t i o nm a y b ed i s t r i b u t e df r e e l y , a sl o n ga sa l lt e ) c ia n dl e g a ln o t i c e sr e m a i ni n t a c t 2 3d o c u m e n t s c j ad a t a0 h i e c ci sa nx m ld o c u m e n ti fi ti sw e l l - f o r m e d a sd 酾n e di nt h i s s p e c i f i c a t i o n aw e l l - f o r m e dx m ld o c u m e n tm a yi na d d i t i o nb ev a l i di fi t m e e t sc e r t a i nf u r t h e rc o n s t r a i n t s e a c hx m ld o c u m e n th a sb o t hal o g i c a la n d ap h y s i c a ls t r u c t u r e p h y s i c a l l y , t h ed o c u m e n ti sc o m p o s e do fu n i t sc a l l e d e n t i t i e s a ne n t i t ym a y 陀f e rt oo t h e re n t i t i e st oc a u s et h e i ri n c l u s i o ni nt h e d o c u m e n t ad o c u m e n tb e g i n si na “r o o t “o rd o c u m e n te n t i t y l o g i c a l l y , t h ei d o c u m e n tj sc o m p o s e do fd e c l a r a t i o n s ，e l e m e n t s ，c o m m e n t s c h a r a c t e r r e f e f e n c e s ，a n dp r o c e s s i n gi n s t r u c t i o n s ，a l io fw h i c ha r ei n d i c a t e di nt h e d o c u m e n tb ye x p l i c i tm a r k u p 2 4w e n f o r m e dx m ld o c u m e n t s at e x t u a lo b j e c ti saw e l l - f o r m e dx m ld o c u m e n t 配 1 t a k e na saw h o l e ，i tm a t c h e st h ep r o d u c t i o nl a b e l e dd o c u m e n t 2 i tm e e t sa l lt h ew e l l - f o r m e d n e s sc o n s t r a i n t sg i v e ni nt h i ss p e c i f i c a t i o n 6 1 二 j f o ra l lo t h e re l e m e n t s ，i ft h es t a r t - t a gi si nt h ec o n t e n to fa n o t h e r e l e m e n t ，t h ee n d - t a gi si nt h ec o n t e n to ft h es a m ee l e m e n t m o r e s i m p l ys t a t e d t h ee l e m e n t s ，d e l i m i t e db ys t a r t - a n de n d - t a g s ，n e s t p r o p e r l yw i t h i ne a c ho t h e r d e f i n i t i o n ：a sac o n s e q u e n c eo ft h i s ，f o re a c hn o n r o o te l e m e n tc i nt h e d o c u m e n t 。t h e r ei so n eo t h e re l e m e n tpi nt h ed o c u m e n t s u c ht h a tci si nt h e c o n t o n to fp b u ti sn o ti nt h ec o n t e n to fa n yo t h e re l e m e n tt h a ti si nt h e c o n t o n t o fp pi sr e f e r r e dt oa s t h ep a r e n t o f c ，a n dc a sac h i l do f l 9 2 5c h a r a c t e r s ap a r s e de n t i t yc o n t a i n st e x t as e q u e n c eo fc h a r a c t e r s ，w h i c hm a y r e p r e s e n tm a r k u po rc h a r a c t e rd a t a 】【d e f i n i t i o n ：ac h a r a c t e r i sa na t o m i cu n i t o ft e x ta ss p e c i f i e db yi s o i e c1 0 6 4 6 ：2 0 0 0 【i s o i e c1 0 6 4 6 l e g a l c h a r a c t e r sa r et a b ，c a r r i a g er e t u r n ，l i n ef e e d 。a n dt h el e g a lc h a r a c t e r so f u n i c o d ea n dl s o i e c1 0 6 4 6 t h ev e r s i o n so ft h e s es t a n d a r d sc i t e di na 1 n o r m a t i v er e f e f e n c e sw e r ec u r r e n ta tt h et i m et h i sd o c u m e n tw a sp r e p a r e d n e wc h a r a c t e r sm a vb ea d d e dt ot h e s es t a n d a r d sb ya m e n d m e n t so rn e w e d i t i o n s c o n s e q u e n t l y x m lp r o c e s s o r sm u s ta c c e p ta n yc h a r a c t e ri nt h e r a n g es p e c i f i e df o rc h a r 7 中南大学硕士学位论文 c h a m r t w o x m l s t r u c t u i 堆s f i g u r e2 5 t h em e c h a n i s mf o re n c o d i n gc h a r a c t e rc o d ep o i n t