（计算机应用技术专业论文）基于数据库复制技术的公安机关固定资产汇总系统.pdf

摘要 基于数据库复制技术的公安机关 固定资产汇总系统 摘要 随着政府信息化建设的不断深入和信息通信技术的飞速发展，数据汇 总系统也得到越来越广泛的应用。及时、完整、准确地进行数据汇总，对 上级部门提高管理水平和决策效率，加强对下级部门的数据监管将起到十 分重要的作用。同时，也实现了下级部门的数据在上级部门数据库中的异 地容灾备份。 公安机关作为人民政府的重要职能部门，加强公安机关固定资产管 理，对于保障机关正常运转，推动公安工作的快速发展，具有十分重要的 意义。目前，公安机关在资产汇总系统的建设上，已经做到及时、完整、 准确的资产数据汇总，但大都是基于网络报表模式的数据汇总，需要通过 报表模板制作、样表生成、报表样表组合及下发、报表填写、报表审核、 报表上报、报表管理等系列操作，如何减少甚至避免繁杂的报表操作，使 资产数据的汇总系统在智能性、易用性、集成性上得以体现，成为一个在 软件设计时需要研究的课题。本文介绍并研究了一种数据库复制的方法， 这种基于数据库复制技术的汇总系统，使得数据汇总自动执行，即摆脱了 繁杂的网络报表操作，同时为各级公安机关节约了大量的时间和精力。 数据库复制技术是分布式环境中提高系统可用性和可靠性的关键技 术。它主要是将数据库中的数据拷贝到另外一个或多个不同的物理站点 上，从而保持源数据库与目标数据库中指定数据的一致性。复制可以在同 一服务器上的数据库之间进行，也可以在通过局域网、广域网或因特网连 t 北京化t 大学硕十学位论文 接的不同服务器上的数据库之间进行。本文主要研究了o r a c l e 9 i 的数据 复制机制原理，并根据系统功能和性能需求，选择了适合公安机关资产汇 总的复制技术。 在对资产汇总系统的具体功能实现中，本文除了具有比较普遍的功能 外，还加入了报表模板设计，为领导决策支持提供报表定制功能。 关键宇：数据库复制技术，资产汇总系统，o r a c l e9 i ，异地容灾备份，决 策支持 a b s t r a c t f i x e da s s e t sc o l l e c t i o ns y s t e m f o rp u b l i cs e c u r i t yo r g a n sb a s e do n d a t a b a s er e p l i c a t i o nt e ch n o l o g y a b s t r a ct w i t ht h ec o n s t r u c t i o no fg o v e r n m e n ti n f o r m a t i o ni nc o n t i n u o u s d e p t h a n dt h e r a p i dd e v e l o p m e n t o fi n f o r m a t i o nc o m m u n i c a t i o n t e c h n o l o g y , d a t ac o l l e c t i o ns y s t e m sh a v ea l s ob e e nm o r e a n dm o r ew i d e l y a p p l i e d t i m e l y ，c o m p l e t e ，a c c u r a t ed a t ac o l l e c t i n g w i l l p l a yav e r y i m p o r t a n tr o l ei ni m p r o v i n gm a n a g e m e n tl e v e la n dd e c i s i o n m a k i n g e f f i c i e n c ya n de n h a n c i n g d a t am o n i t o r i n gs u b o r d i n a t e d e p a r t m e n t m e a n w h i l e ，i tc a na l s oa c h i e v eo f f - s i t ed i s a s t e rr e c o v e r yb a c k u pi nh i g h e r l e v e ld e p a r t m e n t sd a t a b a s ef o rt h ed a t ao fl o w e rl e v e ld e p a r t m e n t a sa ni m p o r t a n tf u n c t i o n s d e p a r t m e n to fp e o p l e sg o v e r n m e n t ， p e o p l e sp u b l i cs e c u r i t yo r g a n se n h a n c et h em a n a g e m e n to ff i x e da s s e t s ， w h i c hw i l lb eo fg r e a ts i g n i f i c a n c ef o rt h ep r o t e c t i o no fn o r m a lw o r k i n g a n dp r o m o t i n gp u b l i c s e c u r i t yo r g a n s r a p i dd e v e l o p m e n t a tp r e s e n t ， p u b l i cs e c u r i t yo r g a n sh a v eb e e na c c o m p l i s h e dt i m e l y , c o m p l e t ea n d a c c u r a t ea s s e t sd a t ac o l l e c t i o na tt h ec o n s t r u c t i o no fa s s e t sc o l l e c t i o n s y s t e m s b u tm o s to ft h es y s t e m sa r eb a s e do nw e br e p o r tm o d e ，w h i c h n e e d ss e r i e so fo p e r a t i o n s ，s u c ha s ，p r o d u c i n gr e p o r tt e m p l a t e ，g e n e r a t i n g i i i 北京化t 人学硕一i ：学位论文 s a m p l er e p o r t ，c o m b i n i n gs a m p l er e p o r t ，d i s t r i b u t i n gs a m p l er e p o r tt o l o w e rl e v e l s ，f i l l i n go u tr e p o r t ，a u d i t i n gr e p o r t ，r e p o r t i n gt h er e p o r tt ot h e l e a d e r s h i p ，r e p o r tm a n a g e m e n ta n ds oo n i ti s s oc o m p l e x ，s oh o wt o r e d u c eo re v e na v o i dt h ec o m p l e xr e p o r to p e r a t i o n ，a n dm a k et h e c o l l e c t i o ns y s t e m sm o r ei n t e l l i g e n t ，e a s i e rf o ru s e ，m o r ei n t e g r a t e d t h e s e p r o b l e m sn e e df u r t h e rs t u d i e si nt e r m so fs o f t w a r ed e s i g n t h i sp a p e r f o c u s e so nd a t a b a s er e p l i c a t i o nt e c h n o l o g y t h ec o l l e c t i o ns y s t e mb a s e d o nd a t a b a s er e p l i c a t i o nt e c h n o l o g yw i l lm a k ed a t ac o l l e c t i o na u t o - r u n n i n g s oi tw i l lm a k ep e o p l er e l e a s ef r o m c o m p l e xr e p o r to p e r a t i o n s ， m e a n w h i l e ，w i l ls a v eag r e a td e a lo ft i m ea n de n e r g yf o ra l ll e v e l s p u b l i c s e c u r i t yo r g a n s d a t a b a s er e p l i c a t i o nt e c h n o l o g yi st h ek e yt e c h n o l o g yt oi m p r o v e s y s t e m s a v a i l a b i l i t ya n dr e l i a b i l i t y i nd i s t r i b u t e de n v i r o n m e n t i ti s m a i n l yt oc o p yt h ed a t ai no n ed a t a b a s et oa n o t h e ro n eo rm o r ed i f f e r e n t p h y s i c a ls i t e ，s oa st om a i n t a i nt h ec o n s i s t e n c yo ft h ed a t ab e t w e e nt h e s o u r c ed a t a b a s ea n dt h et a r g e td a t a b a s e r e p l i c a t i o nc a nb eg o i n go n d i f f e r e n td a t a b a s e so nt h es a m es e r v e r ，a l s oc a nb eo nd i f f e r e n ts e r v e r s v i al a n ，w a no ri n t e m e t t h i sp a p e rm a i n l yd i s c u s s e st h em e c h a n i s m o fo r a c l e9 id a t a b a s e r e p l i c a t i o np r i n c i p l e ，a n d s e l e c t sas u i t a b l e r e p l i c a t i o nt e c h n o l o g yf o rp u b l i cs e c u r i t yo r g a n s c o l l e c t i o ns y s t e m ， a c c o r d i n gt ot h es y s t e mf u n c t i o na n dp e r f o r m a n c er e q u i r e m e n t s i n t h e i m p l e m e n t a t i o no fs p e c i f i c f e a t u r e sf o ra s s e t sc o l l e c t i o n i v a b s t r a c t s y s t e m ，t h i sp a p e ra l s oa d d sr e p o r tt e m p l a t ed e s i g n ，b e s i d e st h ec o m m o n f u n c t i o n s i no r d e rt os u p p o r tl e a d e r s h i p sd e c i s i o n - m a k i n g ，t h es y s t e m p r o v i d er e p o r tc u s t o m i z e df u n c t i o n k e yw o r d s ：d a t a b a s er e p l i c a t i o nt e c h n o l o g y , a s s e t sc o l l e c t i o n s y s t e m ，o r a c l e9 i ，o f f - s i t ed i s a s t e r - t o l e r a n tb a c k u p ，d e c i s i o ns u p p o r t v 北京化工大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名：至盘壹日期：兰! 丝主旦兰! 皇 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论 文的规定，即：研究生在校攻读学位期间论文工作的知识产权单 位属北京化工大学。学校有权保留并向国家有关部门或机构送交 论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公 布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。 保密论文注释：本学位论文属于保密范围，在上年解密后适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授 权书。 作者签名： 导师签名： 王春哟 日期： 日期： 第一章绪论 1 1 论文研究背景 第一章绪论 公安机关信息化管理已初具规模，各地公安专网建设也已形成气候。但目前各公 安机关自己管理自己的数据，每年向各自的省( 市) 公安机关上报一次数据，各省( 市) 机关再将数据汇总后，向公安部上报数据，所采用的上报汇总程序是单机版程序。每 个公安机关均要自己去省( 市) 公安机关或国家公安部所指定地点进行数据的报盘工 作，有些公安机关因数据有问题，甚至需跑多趟才能合格。无论从人力、物力、财力 方面及时间方面都造成了极大的浪费，且上报汇总的数据，不能使大家共享。 为解决上述弊端，采用b s 结构的数据自动汇总将是最科学和最有效的方法，一 方面可以提高效率和工作质量；同时又便于上级公安机关对下级公安机关的资产数据 进行本地实时查询，以及为上级领导的决策支持提供可靠数据源。 1 2 研究现状和问题 1 2 1 资产汇总计算机化发展现状 2 0 0 3 年以前，固定资产的管理十分滞后，管理机构人员、制度等均未健全。资产 数据处理一直依靠各单位人员手工填写账簿或者计算机记账，所有递送的报表或办理 有关手续都是通过人工传递完成，数据的汇总也是靠人工计算或者计算器的运算完 成。这样，除了工作效率低、繁琐、数据不准确、程序不规范、资产利用率低外，还 会反复出现资产“清了乱、乱了清”的现象。 目前，数据汇总系统大多都是基于网络报表的形式，通过报表模版制作、样表生 成、报表样表组合及下发、报表填写、报表审核、报表上报、报表管理等系列操作， 完成汇总分析所需要的基础数据的采集工作。这些前期的基础工作过于繁琐，我们数 据汇总系统的重点在于数据的汇总和分析，为领导决策提供客观依据【l 】【2 】。 将来，数据汇总系统必将超越现阶段以网络报表为特点的系统应用形式，从发展 的趋势上看，数据汇总系统未来发展的重点主要集中于智能化、易用性、集成性三个 北京化t 大学硕l ：学位论文 方面【3 1 。 1 2 2 技术发展现状 目前，针对o r a c l e 数据库的远程复制、容灾主要有以下几种技术或解决方案： ( 1 ) 基于存储层的容灾复制方案 这种技术的复制机制是通过基于s a n 的存储局域网进行复制，复制针对每个i o 进行，复制的数据量比较大：系统可以实现数据的同步或异步两种方式的复制对大数 据量的系统来说有很大的优势( 每天日志量在6 0 g 以上) ，但是对主机、操作系统、 数据库版本等要求一致，且对网络环境的要求比较高。 目标系统不需要有主机，只要有存储设备就可以，如果需要目标系统可读，需要 额外的配置和设备，比较麻烦。 ( 2 ) 基于逻辑卷的容灾复制方案 这种技术的机制是通过基于t c p i p 的网络环境进行复制，由操作系统进程捕捉 逻辑卷的变化进行复制。其特点与基于存储设备的复制方案比较类似，也可以选择同 步或异步两种方式，对主机的软、硬件环境的一致性要求也比较高，对大数据量的应 用比较有优势。其目标系统如果要实现可读，需要创建第三方镜像。个人认为这种技 术和上面提到的基于存储的复制技术比较适合于超大数据量的系统，或者是应用系统 的容灾复制【4 】。 ( 3 ) 基于o r a c l er e d ol o g 的逻辑复制方式 使用这种方式的主要有一些第三方的软件，以及o r a c l e 自己的d a t a g u a r d 中 的l o g i c a ls t a n d b y 。目前，国外已经有了很多比较成熟的产品及成功案例，国内也有 类似的产品，但在产品的成熟程度和成功案例上跟国外还有一定的差距。 这类产品的原理基本相同，其工作过程可以分为以下几个流程： 使用o r a c l e 以外的独立进程，捕捉r e d ol o gf i l e 的信息，将其翻译成s q l 语句，再 通过网络传输到目标端数据库，在目标端数据库执行同样的s q l 。如果其进程赶不上 o r a c l e 日志切换，也可以捕捉归档日志中的内容。也有的产品在源端以事务为单位， 当一个事务完成后，再把它传输到目标端。所有的产品一般都是以表为单位进行复制， 同时也支持大部分d d l 的复制( 主要在o r a c l e 9 i 环境中) 【5 】。 这种技术的技术特点和优势主要有以下几点： 目标端数据库一直是一个可以访问的数据库； 能保证两端数据库的事务致性： 因为使用o r a c l e 以外的进程进行捕捉，且其优先级低于o r a c l e 进程，所以对源系 统数据库的性能影响很小； 基于其实现原理及多个队列文件的使用，复制环境可以提供网络失败、数据库失 2 第一章绪论 败、主机失败的容错能力； 因为这类软件复制的只是s q l 语句或事务，所以他可以完全支持异构环境的复制， 硬件的型号，o r a c l e 的版本，操作系统的种类、版本等都没有要求。 这种方式还可以支持多种复制方式，比如数据集中、分发、对等复制、或者多层 测的复制等。 由于传输的内容只是r e d o l o g 或a r c h i v el o g 中的一部分，所以对网络资源的占用 很小，可以实现不同城市之间的远程复制。 基于r e d o l o g 的逻辑复制产品有很多的优势，但跟上面提到过的其他方案比较起 来，也有一些缺点： 数据库的吞吐量太大时，其实数据会有较大的延迟，当数据库每天的同志量达到 6 0 g 或更大时，这种方案的可行性较差； 实施的过程可能会有一些停机时间，来进行数据的同步和配置的激活； 复制环境建立起来以后，对数据库结构上的一些修改需要按照规定的操作流程进 行，有一定的维护成本【6 】【7 】。 1 3 本文的组织结构 本文第一章分析了研制资产汇总系统的背景和必要性，阐述了本文所采取的开发 原则并对所使用的技术进行了简单的介绍。 第二章将要采用的数据库复制技术进行介绍与分析。对比各大主流数据库，选取 o r a c l e 作为数据库服务器，并详细分析了o r a c l e9 i 的数据库复制机制原理。 第三章，其他技术研究。介绍除数据库复制技术以外本文所用到的其他技术和原 理。如j 2 e e ，s t r u t s ，s p r i n g ，h i b e r n a t e 等等。介绍了这些技术的特点，以及选择这些 技术的理由。 第四章，资产汇总系统功能需求，从四级不同用户( 超级用户、部级用户、省级 用户、地市级用户) 角度，分别做了详尽的功能需求分析。 第五章，是系统总体设计部分，对系统的整体设计以及该系统所用框架的设计进 行了详细的阐述。 第六章，是系统关键功能实现部分，对于关键技术和难点，给出了实现的情况， 并对这些实现做了深入的分析。 第七章，是软件测试部分，由于本系统要处理的数据量比较大，所以对该系统进 行了性能测试。 第八章，是全文的总结，以及对下一步要做的研究工作的展望。 3 第二章数据库复制技术介绍和分析 第二章数据库复制技术介绍和分析 2 1 数据库复制技术介绍 2 1 1 数据库复制技术概念 复制是在两个或多个数据库系统构成的分布式环境中，在已经建立的数据链路上 从源站点到目的站点传送数据库对象的过程。复制对象可以是表、视图、触发器、索 引或同义词等，将所有要复制的逻辑相关的对象称为源组。源站点是指数据发生变化 的站点，目的站点是指保存数据副本的站点嗍。 2 1 2 数据复制的特点 数据复制通过在多个站点上建立备份，能够提高数据的安全性，同时也提高了数 据的可用性，这是因为如果一个站点出现了问题，用户可以选择其他站点继续进行操 作，应用系统还可继续运行，从而数据复制提供了容错保护机制。 数据复制最基本的功能是提高数据库的性能。它通过将远程数据库中的数据复制 到本地，使得应用能够就近访问数据，从而降低网络传输负载，提高效率。而且在数 据复制系统中，可以提供多个站点之间的负载平衡，让这几个用户使用这个服务器， 另外几个用户可以使用其他的服务器，以避免某些站点负载过重【9 】。 2 1 3 数据库复制的分类 按照成员对数据的修改权利，复制技术可以分为两大类：组复制技术、主从复制 技术。 ( 1 ) 组复制技术：采用组复制技术时，复制组中的所有成员的地位都是平等的，每 一个成员都有权对数据进行修改。 采用组复制技术的主要优点：事务可以在复制组的任一结点提交，而且结点的崩 溃对客户透明，当复制组某个结点崩溃时，客户无需等待新的主结点被选出。 采用组复制技术的缺点：需要处理更新冲突的情况；在商业系统中一般采用时 间印来解决更新冲突，但是可能会出现更新丢失的情况；系统的可扩展性不强， 当复制组中的成员数量增加1 0 倍时，等待和协调的概率将增加1 0 0 0 倍。 5 北京化t 大学硕i ：学位论文 ( 2 ) 主从复制技术：主从复制技术就是在复制组中，每一个数据都有一个结点作为 数据的主结点，它负责接受客户的数据更新操作命令，修改数据主拷贝，复制组中的 其他结点都是从结点，其保存的数据从拷贝是只读的。 采用主从复制技术的优点：避免了更新冲突的产生。同时，系统的可扩展性要好。 采用主从复制技术的缺点：主结点可能成为潜在的性能瓶颈。同时，当主结点崩溃时， 客户必须等待选出新的主结剧1 0 】【l l 】。 按照通信模式，复制技术可以分为同步复制技术和异步复制技术两种。 ( 1 ) 同步复制技术：同步复制技术将复制组所有成员的数据更新事务作为一个事务 处理，从而保证了成员问的数据拷贝是一致的。采用同步方式时，复制组成员之间一 般通过多结点提交协议，如2 p c 协议进行同步。2 p c 协议的基本思想是由协调者向所 有参与结点发送事务并等待事务处理结果。若所有参与者都成功执行事务，则整个事 务成功，协调者向所有参与者发送成功命令，否则整个事务失败。协调者向所有参与 者发送撤销命令，所以协调者和参与者之间共进行两次消息交换。 采用同步复制技术的优点是复制组成员之间的数据拷贝始终能保持一致。 采用同步复制技术有难以克服的缺点：系统对客户请求的响应时间将变长：设 n 为客户端结点数，a i 为第i 个结点，其中i = l ，2 n ，t o p ( 矾) 表示结点a i 执行o p 操作的时间，d e l a y 表示结点之间通信耗费的时间，t 叩表示整个复制组执行o p 操作 所用时间，则t 叩= m a x t o p ( 啦) + d e l a y ，a ig ( a ) ，其中，g ( a ) 为由a l ，a 2 a n 组成的 域空间；客户操作成功的概率将降低：设p 叩( a i ) 表示结点a i ( i - l ，2 n ) 执行 o p 操作成功的概率， 表示整个系统执行o p 操作成功的概率，则p o p = 兀p 。v ( a ；) ，a i i = 1 e g ( a ) ，其中，g ( a ) 为由a l , a 2 a n 组成的域空间；由此可见，采用同步复制技术 对系统中各个结点以及网络的性能要求都相当高【1 2 】。 ( 2 ) 异步复制技术：采用异步复制技术时，如果复制组中的某个成员提交一个事务 修改数据成功，该成员将事务发送给复制组中的其他成员作为单独的更新事务执行。 采用异步复制技术的优点：由于避免了多结点提交协议引起的等待，所以采用异 步复制技术对系统的响应时间影响较小；对系统各个结点的性能要求也没有同步复制 技术那么高。 采用异步复制技术的主要缺点是：复制组成员的数据拷贝之间可能存在暂时的不 一致。这样读取的数据可能不是最新的，而且当某个成员失效时，成员数据拷贝之间 的同步程度决定了另一个成员接替失效成员所需时间的长短。由于异步复制技术具有 相对较高的性能，所以在实践中应用更为广泛，尤其对于o l a p 和o l t p 等对实时性 要求较高的应用【1 3 1 1 4 】【1 5 】。 6 第_ 二章数据库复制技术介绍和分析 按照数据复制变化捕获的方法不同，复制技术可以分为以下四种： ( 1 ) 基于触发器法：在业务数据表中创建相应的触发器，当提取、复制对象进行变 更( 插入、修改、删除) 时，由触发器触发提数程序，将变化写入目标数据库中。这种 方案可用于同步复制、增量复制，但是这种基于触发器的方法占用的系统资源较多， 对比较复杂的复制任务需要非常复杂的配置和实施，管理极不方便，对于对等复制和 异构复制也较难实现，因而这种方法不适用于企业级数据复制。 ( 2 ) 基于同志法：通过分析数据库日志的信息来捕获复制对象的变化序列。这种方 法不仅方便，也不会占用太多额外的系统资源，对任何类型的复制都适合，不但能提 高效率和保证数据的完整性，还能在对等式复制时提供详细的控制信息。但由于数据 库日志的格式是不公开的，因而不得不基于某一固定的数据库日志分析工具或接e l ， 这给异构数据库复制带来了问题。 ( 3 ) 基于时间戳法：基于时间戳的方法需要相关应用系统中的每个表中都有一个时 间戳字段，以记录每个表的修改时间。这种方法不影响原有应用的运行效率，但却需 要对原有系统做较大的调整，而且不能捕获到那些并非通过应用系统引起的操作数据 变化。 ( 4 ) 基a p i 法：在应用程序和数据库之间引入中间件，在a p i 上来完成应用程序 对数据库修改的同时，记录下复制对象的变化序列。这种方法既可以实现异构数据库 复制，也减轻了d b a 的负担，但是对于不经过a p i 操作进行的s q l 语句而产生的变 化，a p i 法是无法捕捉到的，另外这种方法可移植性差，同时当复制逻辑复杂时，有 可能影响应用程序的运行效率，因而这种方法不适用于企业级数据复制1 6 】【1 7 1 【1 8 1 。 2 2 当前流行数据库技术比较分析 开发数据库应用，选择一个好的数据库是非常重要的。目前，商品化的数据库管 理系统以关系型数据库为主导产品，技术比较成熟。面向对象的数据库管理系统虽然 技术先进，数据库易于开发、维护、但尚未有成熟的产品。国际国内的主导关系型数 据库管理系统有s q ls e r v e r 、o r a c l e 、s y b a s e 和d b 2 。以下是对常见数据库系统的比 较研究： 一、开放性 1 s q ls e r v e r 只能在w i n d o w s 上运行，没有丝毫的开放性，操作系统的系统的稳定对数据库是 十分重要的。w i n d o w s 9 x 系列产品是偏重于桌面应用，n ts e r v e r 只适合中小型企业。 而且w i n d o w s 平台的可靠性，安全性和伸缩性是非常有限的。它不象u n i x 那样久经 7 北京化工大学硕卜学位论文 考验，尤其是在处理大数据库。 开放s q l 病毒很难防范。 2 o r a c l e 能在所有主流平台上运行( 包括w i n d o w s ) 。完全支持所有的工业标准。采用完 全开放策略。可以使客户选择最适合的解决方案。对开发商全力支持。 比d b 2 大o 2 左右，企业数据库便宜市场份额。 3 s y b a s ea s e 能在所有主流平台上运行( 包括w i n d o w s ) 。但由于早期s y b a s e 与o s 集成度 不高，因此v e r s i o n l1 9 2 以下版本需要较多o s 和d b 级补丁。在多平台的混合环 境中，会有一定问题。 份额在世界上正在缩小。 4 d b 2 能在所有主流平台上运行( 包括w i n d o w s ) 。最适于海量数据。d b 2 在企业级的 应用最为广泛，在全球的5 0 0 家最大的企业中，几乎8 5 以上用d b 2 数据库服务器， 而国内到9 7 年约占5 。 大型数据库硬件环境高，银行、电信、图书馆等使用较多。 二、可伸缩性，并行性 1 s q ls e r v e r 并行实施和共存模型并不成熟，很难处理日益增多的用户数和数据卷，伸缩性有 限。 2 o r a c l e 并行服务器通过使一组结点共享同一簇中的工作来扩展w i n d o w n t 的能力，提供 高可用性和高伸缩性的簇的解决方案。如果w i n d o w s n t 不能满足需要，用户可以把 数据库移到u n i x 中。o r a c l e 的并行服务器对各种u n i x 平台的集群机制都有着相当 高的集成度。 3 s y b a s ea s e 虽然有d bs w i t c h 来支持其并行服务器，但d bs w i t c h 在技术层面还未成熟， 且只支持版本1 2 5 以上的a s es e r v e r 。d bs w i t c h 技术需要一台服务器充当 s w i t c h ，从而在硬件上带来一些麻烦。 4 d b 2 具有很好的并行性。d b 2 把数据库管理扩充到了并行的、多节点的环境。数据库 分区是数据库的一部分，包含自己的数据、索引、配置文件、和事务日志。数据库分 区有时被称为节点安全性。 三、安全认证 1 s q ls e r v e r 8 第二章数据库复制技术介绍和分析 没有获得任何安全证书。 2 o r a c l es e r v e r 获得最高认证级别的i s o 标准认证。 3 s y b a s ea s e 获得最高认证级别的i s o 标准认证。 4 d b 2 获得最高认证级别的i s o 标准认证。 四、性能 1 s q ls e r v e r 多用户时性能不佳 2 o r a c l e 性能最高，保持开放平台下的t p c 。d 和t p c c 的世界记录。 3 s y b a s ea s e 性能接近于s q ls e r v e r ，但在u n i x 平台下的并发性要优与s q ls e r v e r 。 4 d b 2 性能较高适用于数据仓库和在线事物处理。 五、客户端支持及应用模式 1 s q ls e r v e r c s 结构，只支持w i n d o w s 客户，可以用a d o 、d a o 、o l e d b 、o d b c 连接。 2 o r a c l e 多层次网络计算，支持多种工业标准，可以用o d b c 、j d b c 、o c i 等网络客户 连接。 3 s y b a s ea s e c s 结构，可以用o d b c 、j c o n n e c t 、c t - l i b r a r y 等网络客户连接。 4 d b 2 跨平台，多层结构，支持o d b c 、j d b c 等客户。 六、操作简便 1 s q ls e r v e r 操作简单，但只有图形界面。 2 o r a c l e 较复杂，同时提供g u i 和命令行，在w i n d o w s n t 和u n i x 下操作相同。 3 s y b a s ea s e 较复杂，同时提供g u i 和命令行。但g u i 较差，常常无法及时状态，建议使用 命令行。 4 d b 2 9 北京化丁人学硕十学位论文 操作简单，同时提供g u i 和命令行，在w i n d o w s n t 和u n i x 下操作相同。 七、使用风险 1 s q ls e r v e r 完全重写的代码，经历了长期的测试，不断延迟，许多功能需要时间来证明。并 不十分兼容。 2 o r a c l e 长时间的开发经验，完全向下兼容。得到广泛的应用。完全没有风险。 3 s y b a s ea s e 向下兼容，但是c t 1 i b r a r y 程序不益移植。 4 d b 2 在巨型企业得到广泛的应用，向下兼容性好。风险小。 根据基于数据库复制技术公安机关固定资产汇总系统的设计目标和将来的扩 展需要，结合对几家大型数据库系统的分析，我们推荐数据库服务器软件采用o r a c l e 大型关系型数据库系统，o r a c l e 在开放性、可伸缩性、安全性、性能、易用性等方 面均有出众的表现，因此在本系统核心节点，选择部署o r a c l e9 i 数据库服务器。 2 3o r a c l e9 i 数据复制机制原理 数据复制是分布式数据库系统的核心内容。o r a c l e 9 i 的复制机制有如下三种：实 体化视图复制、多主体复制和混合复制。其中，实体化视图复制的网络通信量小，它 不能完全适时同步，但可以把不同步时间降到最低；而且它对于主节点的性能要求较 高，适合于节点比较少的分布式数据库服务器。多主体复制的网络通信量较大，对网 络性能要求较高，不过它的适时性非常的好。混合复制是实体化视图复制和多主体复 制结合产生的一种复制方案。 ( 1 ) 实体化视图复制 图2 - 1 实体化视图复制结构 f i g 2 - 1t h es n 飞l c t i eo fm a t e r i a l i z e dv i e w sr e p l i c a t i o n 1 0 第二章数据库复制技术介绍和分析 实体化视图复制是一种比较简单但是效率较高的复制方案，由于数据的更新由主 节点完全控制，这样不会引起数据更新的冲突，也不会出现意图歪曲等异常错误。而 且一旦备份节点崩溃，对于整个分布式数据库服务器来说没有任何关系，等到节点恢 复后，可以从主节点把作业全部传过去进行数据的更新或者直接传人更新过的数据即 可；一旦主节点崩溃，可以在备份节点中通过选举法选出一个节点代替主节点，主节 点恢复之后再重新布局复制结构。不过这种方案适合于分布式数据库服务器规模比较 小的情况。因为如果分布式数据库的规模比较大，那么对于更新操作比较频繁的应用 来说，主节点可能会成为系统的瓶颈【l9 】【2 们。 实体化视图复制的优点：数据之间不会形成更新冲突。可以保证数据的完整性和 数据的永久一致性。缺点：适合于节点较少的应用，若集群节点比较多，那么很容 易在主节点处形成瓶颈。各备份节点的读访问是独立的，但是它的写访问依赖于 主节点。创建实体化视图复制的流程图如图2 2 。 图2 - 2 创建实体化视图复制的流程图 f i g 2 - 2t h ef l o wc h a r to fc r e a t i n gm a t e r i a l i z e dv i e w sr e p l i c a t i o n ( 2 ) 多主体复制 多主体复制方案支持全表在各个主节点间的对称复制，允许所有主节点对主表都 有更新操作的权利。任何一个主节点上的复制表的更新都会被传播并被直接应用到其 他所有主表。一个主节点出现问题，不会对其他主节点之间变化的传播造成影响。多 主复制采用一种称为“延迟远程过程调用( d e f e r r e dr e m o t ep r o c e d u r ec a l l sr p c s ) 的 北京化工人学硕i ：学位论文 机制作为主要的传播和应用变化的机制。各节点之间变化的传播，既可以以基于事件 的方式立即传播，也可以在某个特定的时间点，如在网络空闲时( 如晚上) 传播。在传 播变化时，如果其中的一个远端系统没有准备好，传播变化的延迟远程过程调用( r p c s ) 就会保存在其本地队列中，等到系统准备好以后再执行，当然也可以手动地删除这些 远程过程调用【2 1 】【2 2 】【2 3 1 。多主体复制结构如图2 3 所示。 多主体复制一 图2 3 多主体复制结构 f i g 2 - 3t h es t r u c t u r eo fm u l t i a g e n tr e p l i c a t i o n 多主体复制的优点：( 1 ) 在整个结构中，有一个节点充当主节点，它负责各个节点 的作业管理和发布，这样可以保证在数据复制的过程中不会出现更新冲突。( 2 ) 每个节 点都可以提供数据的读操作和写操作，各节点是对称的，各节点具有一定的自主性。 ( 3 ) 作业的发布是由各个节点提供的，主节点只是充当次序的管理者，这样不会在主节 点上形成一个系统瓶颈。( 4 ) 各个节点和作业适时发布，适时执行，所以数据的一致性 非常好。限制：每个节点既要执行作业，也要发布作业，还要接收来自不同节点的 作业。因此要求它的性能比较高。每个节点都需要向其它节点广播数据，因此网络 的性能要求较高。 ( 3 ) 混合复制 可以将多主体复制和实体化视图复制结合在一起，构成一种新的混合复制，这种 复制可以完成对全表或者子表的复制。如图2 4 所示这种应用就是一个典型的混合复 制方案，一个系统具有两个位于不同地理区域的中心节点，这两个不同的地理区域下 面还有一些分支机构，两个中心节点可以彼此看做是自己的备份节点。采用多主体复 制方法在两个中心站点之间复制数据，同时采用实体化视图复制方法在每个区域范围 中的主节点之间复制全表或者子表。这种复制的一个显著好处就是当其中的一个中心 节点发生问题时，这些实体化视图复制的主节点可以被重新定义到另一个运行良好的 中心节点，从而提高了系统的可靠性f 2 4 】【2 5 1 。 1 2 第二章数据库复制技术介绍和分析 多主体复制一 图2 - 4 混合复制结构图 f i g 2 - 4t h es 仇l c t l l r eo fm i x e dr e p l i c a t i o n 1 3 第三章资产汇总系统其它所用技术介绍 第三章资产汇总系统其它所用技术介绍 3 1j 2 e e 技术 j 2 e e 为多层w c b 应用系统提供了容器平台。容器概念实际是指应用服务器提供 的特定功能的软件模块，用户所开发的程序构件要在容器内运行，构件和容器的关系 有些像计算机插件和主板的关系；程序构件在部署时被安装在容器里，容器是能提供 基本功能的底层平台，它们之间通过接口进行通信；一般w e b 程序开发者只要开发 出满足其需要的程序构件并能安装在容器中就够了，程序构件的安装过程包括设置各 个构件在j 2 e e 应用服务器中的参数以及设置j 2 e e 应用服务器本身。 这些设置决定了在底层由j 2 e e 服务器提供的多种服务( 譬如安全、交易管理、 j n d i 查寻和远程调用等) 【2 6 】【2 7 1 。 j 2 e e 应用框架使同样的程序构件在一个w e b 程序之内能够根据其部署的方式实 现不同的功能。例如，同样的e n t e r p r i s ej a v a b e a n 可以采用不同等级的数据库数据存 取安全设置，j 2 e e 容器还负责管理某些基本的服务，譬如构件的生命周期、数据库 连接资源共享、数据持久性( d a t ap e r s i s t e n c y ) 。 j 2 e e 平台提供了一个完整的w e b 服务技术集：j a x r p c ：基于x m l 的r p c 的j a v aa p i ，定义了w e b 服务的w s d l 描述映射到j a v a 接口的方式和现有的j a v a 应用程序映射到w s d l 描述的方式。同时，还提供了通过s o a p 发送和接受w c b 服 务的客户端和服务器端【2 8 】。 j a x r ：用于x m l 注册表，提供访问x m l 注册表的a p i ，包括基于u d d i 的 注册表。 s a a j ：s o a pw i t ha t t a c h m e n t sa p if o rj a v a ，允许j a v a 应用程序构造s o a p 消 息。 j a x p ：j a v a a p if o rx m l p r o c e s s i n g ，定义了j a v a 应用程序解析，操作和转换 x m l 文档的a p i 。用户可以通过它们从w e b 服务那里接收x m l 文档，或者发送x m l 文档给w e b 服务。 j a x - - b ：用于x m l 绑定，提供以j a v a 的形式表示x m l 文档和片段的a p i 和标 准，定义如何把一个文档的定义文件映射成一系列j a v a 类【2 9 1 。 1 5 北京化丁大学硕i ：学位论文 3 2s t r u t s 框架 s t r u t s 是m v c 模型的一种应用，它继承了m v c 的各项