（计算机应用技术专业论文）校园网数据库的性能优化技术及其应用.pdf

摘要校园网数据库具有多媒体、异构、查询频繁、数据量大等特点，随着校园网应用的深入，校园网数据库的数据量变得越来越庞大，数据库的访问性能因此而显著降低。如何优化由结构化数据组成的校园网数据库以提升其性能，如何合理设计多媒体数据库的结构以提升其查询效率，如何有针对性地设计校园网数据库的查询算法，对于这些方面的研究，既具有理论意义，更具有实践指导意义。数据库逻辑设计优化的主要方法是使数据库结构设计尽量满足第三范式。本文在阐述利用规范化设计来优化数据库性能的基础之上，为了减少数据库的多表连接，避免频繁使用聚集函数，优化数据访问频率差别较大的大容量数据库的性能，提出了有针对性的反范式设计方法来优化由结构化数据组成的校园网数据库。同时，通过分析校园网中多媒体数据库的特点，研究了基于数据分类与扩充关系模型来构建多媒体数据库的方法，此方法操作简单，性能良好。提升数据库的查询性能可以通过建立合适的索引、利用存储过程、优化s q l 语句等方法来实现。本文在分析了查询优化方法的基础之上，为解决大容量数据库中统计分析查询十分缓慢的问题，根据校园网数据库的查询重复性强、数据更新时间有规律性等特点，研究了基于语义信息与择机预取的查询优化算法，它通过保存、分析重复性的查询语义信息，择机预取访问频率高的数据到c a c h e 中，达到较好地提升查询速度的目的。本文以湖南省教育厅资助科研项目为课题来源，在校园网数据库的性能优化实践中，利用性能监控与分析工具分析数据库性能状况，利用规范化与反规范化技术改进数据库的结构设计，利用基于数据分类与扩充关系模型的方法重构多媒体数据库的逻辑设计，利用基于语义信息与择机预取的查询优化算法改善大容量数据库的统计分析查询性能。优化实践后的测试结果表明，校园网数据库性能得到了较大幅度的提升。关键词校园网数据库，性能优化，多媒体，查询算法a bs t r a c tc a m p u sn e t w o r kd a t a b a s eu s u a l l yt a k e so ns u c hc h a r a c t e r i s t i c sa sm u l t i - m e d i a ，h e t e r o g e n e o u s ，f r e q u e n tq u e r i e s ，a n dal a r g eq u a n t i t yo fd a t a b u tw i t ht h ed e e p e n i n go ft h ec a m p u sn e t w o r ka p p l i c a t i o n s ，t h ec a m p u sn e t w o r kd a t a b a s eh a sb e c o m ea ne v e r - g r o w i n gv o l u m eo fd a t a ，r e s u l t i n gi nas i g n i f i c a n tr e d u c t i o ni nt h ed a t a b a s ep e r f o r m a n c e i th a st h e o r e t i c a ls i g n i f i c a n c ea sw e l la sp r a c t i c a ls i g n i f i c a n c et ok n o wh o wt oo p t i m i z et h ep e r f o r m a n c eo ft h ec a m p u sn e t w o r kd a t a b a s ew h i c hi so nt h ec o m p o s i t i o no fs t r u c t u r e dd a t at oe n h a n c ei t sp e r f o r m a n c e ，a n dh o wt or e a s o n a b l yd e s i g nt h es t r u c t u r eo fm u l t i m e d i ad a t a b a s et oe n h a n c et h ee f f i c i e n c yo fi t si n q u i r y ，a sw e l la sh o wt op e r t i n e n t l yd e s i g nq u e r ya l g o r i t h mo ft h ec a m p u sn e t w o r kd a t a b a s e t h em a i nw a yo fo p t i m i z a t i o nf o rd a t a b a s el o g i cd e s i g ni st od e s i g nt h er i g h td a t a b a s es t r u c t u r et om e e tt h et h i r dn o r m a lf o r m o nt h eb a s eo fe x p a t i a t i n gt h eu s eo fn o r m a l i z e dd e s i g n st oo p t i m i z ed a t a b a s ep e r f o r m a n c e ，a n di no r d e rt or e d u c et h en u m b e ro fm u l t i t a b l ej o i n sa n da v o i df r e q u e n t l yu s i n gt h ec l u s t e r i n gf u n c t i o n ，f u r t h e r m o r e ，i no r d e rt oo p t i m i z et h ep e r f o r m a n c eo fl a r g e c a p a c i t yd a t a b a s e sa m o n gw h i c ht h e r ea r el a r g ed i f f e r e n c e si nt h ef r e q u e n c yo fv i s i t s ，t h ea u t h o ro ft h i sp a p e rp u t sf o r w a r dd e n o r m a l i z a t i o nd e s i g nm e t h o d st oo p t i m i z ec a m p u sn e t w o r kd a t a b a s ew h i c ha r ec o m p o s e db ys t r u c t u r e dd a t a m e a n w h i l e ，b ya n a l y z i n gt h ef e a t u r e so ft h em u l t i m e d i ad a t a b a s ei nt h ec a m p u sn e t w o r k ，t h ea u t h o ra l s oa d o p t sm e t h o dw h i c hi sb a s e do nd a t ac l a s s i f i c a t i o na n de x p a n s i o no fr e l a t i o nm o d e l st ob u i l d eam u l t i m e d i ad a t a b a s e t h i sm e t h o di se a s i l yo p e r a t e da n di t sc a p a b i l i t yi sg o o d a sw ek n o w ，w ec a nu p g r a d et h ed a t a b a s eq u e r yp e r f o r m a n c eb ye s t a b l i s h i n ga na p p r o p r i a t ei n d e x ，u s i n gt h es t o r e dp r o c e d u r e s a n do p t i m i z i n gs q ls t a t e m e n t s t h ea u t h o rf i r s t l ya n a l y z e st h eo p t i m i z a t i o nm e t h o d so fq u e r y s e c o n d l y ，a c c o r d i n gt ot h ef e a t u r e so fc a m p u sn e t w o r kd a t a b a s es u c ha st h eq u e r i e sr e p e a t a b i l i t yi ss t r o n g ，t h e r ea r es o m el a w si nu p d a t i n gt h ed a t a ，a n di no r d e rt or e s o l v et h ep r o b l e mt h a tt h eh i g h c a p a c i t yd a t a b a s eq u e r yo ft h es t a t i s t i c a la n a l y s i si sv e r ys l o w ，t h ea u t h o rb r i n g sf o r w a r dam e t h o do fq u e r yo p t i m i z a t i o na l g o r i t h ml iw h i c hi sb a s e do ns e m a n t i ci n f o r m a t i o na n dc h o o s i n gar i g h tc h a n c et op r e f e t c h b yp r e s e r v i n g ，a n a l y z i n gt h er e p e t i t i v es e m a n t i ci n f o r m a t i o n ，i tw i l lc h o o s i n gaf i g h tc h a n c et op r e f e t c ht oc h e c kt h eh i g h f r e q u e n c yd a t at ot h ec a c h et os u c c e s s f u l l ya c h i e v et h ep u r p o s eo fe n h a n c i n gt h es p e e do fi n q u i r y t h es o u r c eo ft h i sa r t i c l ei sap r o je c ts u p p o r t e db ys c i e n t i f i cr e s e a r c hf u n do fh u n a np r o v i n c i a le d u c a t i o nd e p a r t m e n t i nt h ep r a c t i c eo ft h ep e r f o r m a n c eo p t i m i z a t i o no fc a m p u sn e t w o r kd a t a b a s e ，w ec a nu s ep e r f o r m a n c em o n i t o r i n ga n da n a l y s i st o o l st oa n a l y z et h ed a t a b a s ep e r f o r m a n c es t a t u s ，o ru s et h en o r m a l i z e dt e c h n o l o g ya n dd e n o r m a l i z e dt e c h n o l o g yt oi m p r o v es t r u c t u r ed e s i g n ，o ru s et h em e t h o db a s e do nd a t ac l a s s i f i c a t i o na n dt h ee x p a n s i o no fr e l a t i o nm o d e l st or e c o n s t r u c tl o g i cd e s i g no fm u l t i m e d i ad a t a b a s e ，o ru s et h em e t h o do fq u e r yo p t i m i z a t i o na l g o r i t h mb a s e do nt h es e m a n t i ci n f o r m a t i o na n dc h o o s i n gt h ef i g h tc h a n c et op r e f e t c ht oi m p r o v et h eq u e r yp e r f o r m a n c eo ft h es t a t i s t i c a la n a l y s i si nl a r g e - c a p a c i t yd a t a b a s e s i nt h ep r a c t i c eo fo p t i m i z i n gt h ep e r f o r m a n c eo fi t ，t h er e s u l ti n d i c a t e st h a tt h ep e r f o r m a n c eo ft h ec a m p u sn e t w o r kd a t ah a sb e e ni n c r e a s e dd r a m a t i c a l l y k e yw o r d sc a m p u sn e t w o r kd a t a b a s e ，p e r f o r m a n c eo p t i m i z a t i o n ，m u l t i m e d i a ，q u e r ya l g o r i t h mi i i原创性声明本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。储躲卑盟嗍生年旦月乡日关于学位论文使用授权说明本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部门规定送交学位论文。作者签名：导师签名：肆日期：址年旦月丝硕士学位论文绪论1 1 研究背景第一章绪论本课题来自我主持的湖南省教育厅资助科研项目“基于五层分析模式的校园网数据库性能评价与优化”( 编号0 8 d 1 2 2 ) ，也来自于大部分学院校园网数据库性能亟需得到改善的需要。随着高校信息化建设的不断发展，几乎所有的高校都建设了校园网。校园网作为学校重要的基础设施，担负着教学、科研、管理和对外交流等许多角色，在信息化建设领域发挥着越来越重要的作用。校园网上信息资源极为丰富，范围非常广泛，既有大量的学院、教师、学生等管理信息，如教务管理系统、后勤管理系统、图书管理系统等的信息，更有课件资源、电子期刊、电子图书、教学视频等丰富的集声音、图像、文字于一体的多媒体信息。而目前随着办公自动化的普及、远程教育的开办等，校园网数据库的数据量变得越来越庞大，应用范围变得越来越广泛，因而导致数据库系统运行越来越缓慢。目前校园网数据库性能主要存在以下四个问题：( 1 ) 随着访问量的剧增，校园网数据库文本信息的查询速度较慢；( 2 ) 随着校园网数据库中多媒体数据量变得越来越庞大，原有的多媒体数据存储方法的弊端越来越明显：一是完全采用文件系统的方法，这经常导致多媒体数据管理比较混乱，二是将多媒体数据文件完全保存在数据库中的方法，这导致其查询速度比较缓慢；( 3 ) 在校园网数据库系统的应用中，查询操作所占的比重最大。如何利用索引、存储过程、s q l 语句等手段有针对性地改进查询性能?( 4 ) 校园网数据库出现性能问题时，在如何查找性能瓶颈，如何建立一套行之有效、有针对性、可操作性强的性能优化方案方面，d b a ( d a t a b a s ea d m i n i s t r a t o r ，数据库管理员) 往往束手无策。本课题将重点解决以上四个问题。1 2 研究现状如何进行数据库特别是校园网数据库的性能优化与实践，在国内、国外都有了一定的研究。1 国外研究现状国外的相关研究主要集中在测试标准的建立、数据库性能优化的研究与应用硕士学位论文绪论上，他们相比国内起步较早，也逐渐地系统化，但结合校园网数据库进行研究的较少。近二十年来，国外已开发出许多数据库的基准测试程序，用来评估不同问题域的相关性能，如t p c a 、t p c b 、t p c c 1 | 、w i s c o n s i n 2 1 引、a s 3 a p 4 | 、s e tq u e r y 5 1等基准测试程序。同时，国外针对数据库性能优化的研究与应用较多，但往往是针对某种具体的d b m s ( d a t a b a s em a n a g e m e n ts y s t e m ，数据库管理系统) 从宏观上进行探讨，结合校园网数据库的性能优化方面的研究较少。如g e o f fi n g r a m ( 2 0 0 3 ) 研究了o r a c l e 数据库的性能优化；t h o m a sm c o n n o l l y c a r o l y ne b e g g ( 2 0 0 5 ) 研究了数据库的构建与维护；p a t r i c k0n e i l e l i z a b e t h0n e i l ( 2 0 0 2 ) 、c h r i s t o p h e rl a w s o n ( 2 0 0 4 ) 1 等研究了数据库的综合优化方法，r e nq 、d u n h a mm h ( 2 0 0 3 ) 盯1 等研究了语义缓存等等。2 国内研究现状国内学者的研究主要集中在校园网的整体建设、普遍意义上的数据库的性能优化等方面，对校园网数据库有针对性的性能优化方面的探索较少。在校园网的整体建设上，邹玲、石冰心呻1 、陈世坤阳1 等一大批学者分别研究了园区网络规划与性能分析、校园网网络性能的优化方法、校园网网络性能管理系统的设计与实现n 们等等。这些研究对校园网的建设、网络的整体优化、信息系统的构建上起到了较大的作用。在数据库的逻辑设计优化方面，e f c o d d 博士于1 9 7 2 年就提出了规范化技术来支持基于关系模型的数据库设计，规范化的设计常能达到较好的性能，国内众多学者对这方面进行了研究。但是，一个完全规范化的设计并不总能达到最优的性能，目前已有部分学者开始研究反范式设计的一些方法与技术，如尹萍1 、谷震离n 2 1 等研究了利用数据分割技术对海量数据库的进行反范式设计的方法，陶勇、丁维明n 3 3 等研究了反范式设计的规则，并提出了冗余数据、虚拟列的反范式设计方法。这些针对反范式设计的研究均不够全面，而如何根据校园网数据库的特点进行针对性的反范式设计，在c n k i 等期刊网上均无法找到这方面的研究文章。一在多媒体数据库的设计优化方面，周向东n 劬等研究了图像的检索方法，施智平n 引等研究了视频数据库检索技术中的聚类索引方法，李波n 刚等研究了基于扩充关系模型的多媒体数据库的设计方法，黄金敢n 钉等研究了基于文件名的多媒体数据库管理系统开发方法，这些研究往往针对一般的多媒体数据库进行。而校园网中多媒体的数据类型不多，如何根据其特点进行分类构建，如何使得数据检索更快速、更准确，对于这方面的研究文章，目前在c n k i 等期刊网上也很难找到。在查询算法的设计方面，目前主要有基于规则的、基于代价的、基于语义的2硕士学位论文绪论等多种优化算法。针对基于语义的查询算法的研究目前还不多，主要有蔡建宇、吴泉源n 铂等研究了面向聚集查询的语义缓存模型、聚集查询匹配、缓存替换管理等内容，吴婷婷n 钔等研究了移动数据库客户语义缓存技术。而对于校园网数据库，由于经常有一些统计分析查询，其查询效率较慢，为了提升统计分析的查询效率，也有必要设计针对性的基于语义的查询算法。在数据库查询优化的其它方面，邓曦啪1 、李瑞轩口1 1 等研究了多数据库系统的查询优化算法，贺志强啪，等进行了医院信息系统数据库的性能优化实践等等，这些研究对于校园网数据库的性能优化实践有一定的借鉴意义。基于以上背景，说明针对校园网数据库的性能优化的研究是很有必要的，而借助前人研究的基础，针对校园网数据库的性能优化的研究也是可行的。1 3 研究意义如何查找数据库系统的性能瓶颈? 如何有针对性地优化数据库的性能，如何提出一套行之有效、有针对性、可操作性强的优化方案，特别是针对永州职业技术学院的校园网数据库优化的实证研究，将是本文致力完成的工作。本文的研究意义主要在以下几个方面：1 完善数据库性能优化技术。站在应用的角度上，针对校园网数据库的特性，多层面、多角度地剖析校园网络数据库的性能优化方法，重点从逻辑结构设计、查询算法设计、索引优化、s q l 优化等方面进行阐述，特别是在多媒体数据库优化、查询算法上提出具体的优化方案。针对校园网数据库，在理论上构建针对性的性能优化方法，在实践上提供切实可行的优化技术或指导，既兼顾了全面性，又不失具体性与可操作性。2 研究与应用相结合，优化永州职业技术学院校园网数据库性能。永州职业技术学院校园网数据库的查询速度越来越缓慢，通过对之进行实证分析，剖析影响性能的原因，对它针对性地进行性能优化，从而改善校园网数据库性能。1 4 论文的主要内容数据库的性能受到影响是多方面的因素造成的，因而相应的优化方法也应有所不同。现有的相关研究没有考虑校园网数据库的特点，相关的技术方法也缺乏针对性。因此本文的研究要考虑以下几个问题：( 1 ) 校园网数据库与一般数据库相比较，有哪些异同?( 2 ) 影响数据库性能的因素主要有哪些? 如何判定?( 3 ) 优化数据库性能的一般方法有哪些? 针对校园网数据库，该如何有针对性的进行优化?3硕士学位论文绪论针对以上问题，本文研究的主要内容将包括以下几个方面：( 1 ) 分析校园网数据库的组成、特点；( 2 ) 阐述数据库逻辑设计优化的一般方法，同时，针对具体的校园网数据库，如果是主要由结构化数据组成的，采用有第三范式设计与针对性的反范式设计相结合的方法，如果是多媒体数据库，则采用基于数据分类与扩充关系数据模型的方法来构建多媒体数据库；( 3 ) 阐述利用索引、存储过程、s q l 语句来优化数据库的查询性能的一般方法，针对校园网中大容量数据库中的统计分析查询，研究了基于语义信息与择机预取的查询优化算法；( 4 ) 运用相关优化技术与方法，对校园网数据库进行优化实践。1 5 论文的组织结构论文分为六章，各章内容简述如下：第一章：问题定义。简述论文的研究背景与意义，点明课题的来源，明确研究的可行性与研究内容；第二章：性能优化的基础。分析校园网数据库的构成，阐述校园网数据库的特点，明确影响数据库性能的因素，探讨性能优化的基本途径；第三章：逻辑设计优化。对数据库的逻辑设计进行性能优化，重点是反范式设计优化方法与多媒体数据库的设计优化方法；第四章：查询优化。针对校园网数据库重在查询的特点，从索引、存储过程、s q l 语句三个方面进行查询优化，并提出基于语义信息与择机预取的查询优化算法：第五章：实证研究。针对永州职业技术学院的校园网数据库进行全面的优化实践，进行优化前后的数据库性能比较与分析；第六章：论文小结。4硕士学位论文第二章校园网数据库性能优化概述第二章校园网数据库性能优化概述针对不同类型、不同特点的数据库，其性能优化方法既有其共性，也有其特殊性。因此，在对校园网数据库进行的性能优化时，既要掌握数据库性能优化的基本途径，这是利用现有优化方法的前提与基础，更要分析校园网数据库的组成与特点，分析影响校园网数据库性能的主要因素，这是改进现有优化方法的前提，也是创新优化技术的依据。2 1 校园网数据库简介1 校园网数据库的组成校园网数据库主要包含两类数据库，一是以字符、数值型数据等结构化数据为主的数据库，如学籍管理、教务管理、图书管理、人事管理、财务管理等数据库，二是以图片、音频、视频等非结构化数据为主的多媒体数据库，如多媒体素材库、v o d 影音库、多媒体课件库等。对于一个1 0 0 0 0 名师生左右的学院，其校园网数据库的情况一般大致如表2 - 1 、表2 - 2 所示：表2 - 1 以结构化数据为主的数据库数据库记录数主要的主要的非结最常用名称( 7 i )结构化数据构化数据的操作学籍管理s t u _ n a m e ，a d d r e s s ，s e x ， 1s t u _ p h o t o更新、查询数据库b i r t h d a y ，s t u t e l ，教务管理s t u _ n a m e ，t e an a m e ，c o u r s e n a m es t u _ p h o t o更新、查询，1 0 0数据库g r a d e _ f i n a l ，c r e d i t t e a _ p h o t o统计分析图书管理b o o k _ n a m e ，b o o k _ p u b lis h ，更新，查询，1 0 0 0b o o k _ p h o t o数据库b o o k a u t h o r ，b o o k is d n ，统计分析人事管理e m p _ n a m e ，e m p _ m a j o r ，g r a d _ d a t e更新，查询，1e n i p _ p h o t o数据库e m p - i d ，e m p _ t e l e ，统计分析财务管理根据专业软更新，查询，1 0 0根据专业软件而定数据库件而定统计分析5硕士学位论文第二章校同网数据库性能优化概述表2 - 2 以非结构化数据为主的多媒体数据库数据库记录数主要的主要的最常用名称( 万)结构化数据非结构化数据的操作多媒体m a t e r i a l i d ，m a t e r i a l n a m e ，m a t e r i a l i m a g e ，更新1 0 0素材库m a t e r i a l k e y ，m a t e r i a l o u t li n e查询v o dv o di d ，v o d lt y p e ，更新1 0v o d _ o u t li n e影音库v o d _ n a m e ，v o d _ k e y ，查询多媒体c o u r s e w a r ei d ，更新1 0c o u r s e w a r e n a m e ，c o u r s e w a r e _ o u tlin e课件库查询c o u r s e w a r e _ k e y ，2 校园网数据库的特点校园网数据库具有不同于其它数据库的一些特点：( 1 ) 数据类型繁多而复杂。既有结构数据，如教务管理系统、财务管理系统、人事管理系统中的以字符、数值型数据为主的数据，也有课件、图片、音频、教学视频等非结构化的多媒体数据。而多媒体数据库的构建与性能优化，不同于一般类型的数据库；( 2 ) 数据库的异构。主要是操作系统与数据库管理系统( d b m s ) 的异构，如在d b m s 的选择上，不同的学院甚至同一学院的不同的数据库均可能运行在不同的数据库平台上，如o r a c l e ，s q ls e r v e r 等，而即使是同一平台，如s q ls e r v e r ，也可能版本不同，如s o ls e r v e r2 0 0 0 、s q ls e r v e r2 0 0 5 、s o ls e r v e r2 0 0 8等，不同的数据库平台导致数据库的性能优化方案更具复杂性；( 3 ) 校园网数据库是分布式( 大部分) 或集中式( 小部分) 的w e b 数据库，其查询执行预期代价的计算方式是不一样的：( 4 ) 查询占主导，强调数据查询的性能。因此性能的提升偏重于查询性能的提升。( 5 ) 数据库数据的更新时间较有规律性。如教务管理数据库一般在期初与期末更新等。2 2 影响校园网数据库性能的因素影响校园网数据库的性能的主要因素包括以下三个方面：系统级因素、数据库因素、客户端因素，如图2 - 1 所示。因而，分析校园网数据库的性能瓶颈也将从这三个方面入手。6硕士学位论文第二章校园网数据库性能优化概述硬件配置校园网数据库的性能瓶颈系统级因素ii 数据库因素ll 客户端因素操作系统网络流量逻辑结构物理结构数据对象结果集图2 - 1 影响校园网数据库性能的因素网络流量sql语句1 系统级因素系统级因素包含了来自于硬件配置、操作系统、网络流量等对于s q ls e r v e r性能的影响。用户应当监控内存、c p u 、磁盘i o 、网络连接等系统资源的瓶颈啪1 。对于硬件配置，如在性能监视器中出现1 0 0 处理器应用时间，说明c p u 存在瓶颈问题，就应该减少服务器的负载，更换更高频率的c p u ，或者增加c p u 的数量或者增加c p u 的2 级缓存( l 2c a c h e ) ，如出现高的磁盘应用时间，为了提高磁盘i o 性能，考虑将它移到一个r a i d l 或者r a i d o 的独立磁盘阵列上。若在性能监视器中发现空闲缓存空间( f r e eb u f f e r ) 比较少，则可能是内存瓶颈问题，需要增加内存。对于操作系统，如果想发挥s q ls e r v e r 最佳的性能，它需要运行在w i n 2 0 0 3上及一个独立的服务器上，需要周期性的检查服务器是否有最新的微软认证的硬件驱动，并关闭w i n 2 0 0 3 系统任何一个不需要的服务。对于网络流量，s q l s e r v e r 通常只需要t c p i p 协议，移除s q ls e r v e r 服务器上其他不必要的网络协议，可以通过减少网络流量来减少负荷。2 数据库因素数据库因素主要包括数据库的逻辑结构、物理结构以及数据对象的工作。数据库的逻辑设计，是优化关系数据库的核心，设计符合规范化规则、能够正确反映校园网中的业务处理的数据库将会方便用户的操作。数据库物理设计要尽量达到以下两个要求：一是要使设计出的物理数据库占用较少的存储空间，二是在数据库上运行的各种事务响应时间小、事务吞吐率大。这些可以通过优化磁盘配置、适当地进行数据库分区、进行文件组优化等方法来实现。另外，适当地使用数据对象如约束、触发器、存储过程等，将有利于维护数据的一致性，有利于降低维7硕士学位论文第二章校园网数据库性能优化概述护业务规则的花销。3 客户端因素数据库服务器中的活动直接受客户端控制，客户端因素主要包括网络流量、结果集、s q l 语句等。客户端和s q ls e r v e r 之间的会话流量通常是数据库应用程序性能较差的重要原因，这可以通过使用存储过程而使网络流量减到尽量少。而生成较大的结果集而在客户端浏览将增加c p u 和网络i o 的负载，使得应用程序的远程使用能力降低，因而设计的应用程序要提示用户输入足够的信息，以便查询提交后生成大小适中的结果集。s q l 语句消耗了7 0 9 0 的数据库资源，s q l语句的不同写法，往往对数据库的查询性能有着较大的影响，如果s q l 代码不合理，就会造成查询优化器删去索引而使用全表扫描，从而造成响应速度的极大降低。2 3 数据库性能优化的基本途径要有效地提高数据库系统的运行效率，可以从三个层面进行优化：系统层优化( 包括物理层优化、网络层优化、操作系统层优化) 、数据库设计层优化、应用开发层优化。1 系统层优化物理层优化上，当系统出现c p u 、内存或i o 等资源瓶颈时，一是可以根据具体情况使用高速硬盘、增加硬盘容量或使用磁盘阵列。磁盘阵列包括多个由控制器管理的磁盘，既可以实现容错，又可以对多个磁盘进行并行存取，提高系统吞吐量；二是增加处理器数目、更换高性能处理器；三是增设r a m 容量，使系统增加缓冲空间，提高硬件性能最经济的方法往往是增加内存嘲1 。网络层优化上，重点是增大网络带宽，减少网络系统瓶颈、提升网络系统的运行效率。操作系统层优化上，重点是合理设计w i n d o w s 系统与s q ls e r v e r 系统的配置参数。2 数据库设计层优化设计优化主要包括数据库的逻辑设计优化与物理设计优化。在逻辑设计优化时，尽量采用规范化技术进行关系模式的设计，并使之满足3 n f ( t h i r dn o r m a lf o r m ，第三范式) ，以控制数据冗余，提高运行效率。同时为了让数据库尽量达到最佳性能，有时也可以进行适当的反范式的关系模式设计。在数据库的物理设计优化时，提升s q ls e r v e r 性能最快的方法就是索引，利用索引可以避免表扫描，并减少因查询而造成的i o 开销。另外，可采用合适的r a i d 进行磁盘配置优化，将表和索引分配在不同的磁盘空间，尽可能将它们硕士学位论文第二章校园网数据库性能优化概述平均地分配在尽可能多的磁盘上，并将数据文件与重做日志文件分离在不同的磁盘上。3 应用开发层优化应用开发层优化重点在于进行s q l 语句优化、存储过程优化、锁优化。s q l语句消耗了7 0 一9 0 的数据库资源，s q l 语句独立于程序设计逻辑，相对于对程序源代码的优化，对s q l 语句的优化在时间成本和风险上的代价都很低。对s o l语句进行调整时要遵循下列原则：( 1 ) 尽可能减少查询中各表参与力h - r - 的数据量，从而减少对磁盘的访问次数；( 2 ) 避免对数据表行的顺序读取，尽量使用索引进行优化。存储过程( s t o r e dp r o c e d u r e ) 是一组为了完成特定功能的t r a n s a c t - s o l语句和流控制语句的集合，经编译和优化后存储在数据库服务器中。利用存储过程，将会使数据库应用系统的执行速度更快，网络传输量更少，将以下场合处理的s q l 语句转化为存储过程可显著改善数据库的性能：( 1 ) 使用频率高、需要较高运行效率的各种逻辑与运算处理。( 2 ) 需要对数据进行复杂处理才能返回所需的结果数据集的各种逻辑与运算处理。锁是数据库中的一种软件机制嘶1 ，用来指示某个用户已经占用了某种资源，从而防止其他用户作出影响本用户的数据修改或导致数据库的数据的非完整性和非一致性。进行锁优化时，在所有其他条件相同的情况下，由于事务使用的锁个数越少，持有锁的时间越短，读锁等操作对性能的提高更有利汹1 ，因此可通过以下原则进行锁优化：( 1 ) 使用特殊的系统程序来处理长的读操作：( 2 ) 消除不必要的封锁。当只有一个事务执行时( 如加载数据库时) ，或所有事务都是只读事务时( 如在归档数据库上执行决策支持查询时) ，锁是不必要的：( 3 ) 根据事务的内容将事务切分成较小的事务；( 4 ) 在应用程序允许的情况下，适当降低隔离级别；( 5 ) 选择适当的封锁粒度；一( 6 ) 只在数据库很少被访问时才修改有关数据定义的数据；( 8 ) 减少访问热点。2 4 本章小结校园网数据库主要包含两类数据库，一是结构化数据为主的数据库，二是以非结构化数据为主的多媒体数据库，它们具有类型繁多、异构、分布式、查询占9硕士学位论文第二章校园网数据库性能优化概述主导的特点，这些是进行有针对性的数据库性能优化的依据与基础。影响校园网数据库性能的主要因素包括系统级因素、数据库因素、客户端因素等三个方面，因而相应的优化技术也应从系统层、数据库设计层、应用开发层等三个层面展开，这也是在第五章进行优化实践时遵循的原则，第三、四章中则重点阐述在数据库设计层、应用开发层进行性能优化的方法。l o硕士学位论文第三章数据库逻辑设计优化第三章数据库逻辑设计优化规范化的逻辑设计是数据库设计的基础，数据库逻辑设计优化将主要围绕规范化设计而展开。但对于具体的校园网数据库，仅仅对其逻辑设计规范化，往往存在一些弊端，在某些情况下反而可能会严重影响数据库性能，如何较好地在规范化设计的基础上灵活运用反范式设计，将是本章重点关注的问题。同时，针对校园网多媒体数据库的特点，如何构建富有特色的多媒体数据库逻辑结构，以尽量达到数据库的最佳性能，更是本章研究的重点。3 1 数据库逻辑设计概述关系模型是目前应用最为广泛的数据库模型，其数据库设计强调两个基本的问题：一是数据存储空间的最佳利用，导致最低的系统开销；二是存储数据最少的响应时间，导致最佳的性能。用户总希望能建立一个低开销、高性能的系统，但这两个目标往往难以协调起来。数据库的设计通常包括需求分析、概念设计、逻辑设计、物理设计、验证设计五个步骤，本章重点论述数据库的逻辑设计优化。数据库逻辑设计的主要工作是将现实世界的概念数据模型设计成数据库的一种逻辑模式，包括表与表之间的关系，这是优化关系数据库的核心。一个好的逻辑数据库设计可以为优化数据库和优化应用程序打下良好的基础，而数据库的逻辑设计方法主要是规范化设计。数据库的逻辑设计要认真考虑数据表的结构，良好的数据表结构能很好地控制数据冗余，提高运行效率。规范化的数据库设计将使数据库中的表变得很小，尽可能地减少数据冗余，它给数据库带来了许多好处：一是简化了大型数据库的组织规划；二是控制数据冗余，节约了磁盘空间；三是有利于索引的创建和更快的排序；四是增强了数据库中的数据一致性；五是加快了增、删、改的速度：六是实现了更好的数据库安全性处理等等。因而数据库的逻辑设计优化主要是将数据库进行规范化设计。1 9 7 2 年，e f c o d d 博士提出了规范化技术来支持基于关系模型的数据库设计。规范化通过对表结构的一系列测试来决定它是否满足或符合给定范式。范式是符合某一级别的关系模式的集合，目前遵循的主要范式包括ln f ( f i r s tn o r m a lf o r m ，第一范式) 、2n f ( s e c o n dn o r m a lf o r m ，第二范式) 、3n f ( t h i r dn o r m a lf o r m ，第三范式) 、b c n f ( b o y c e - c o d dn o r m a lf o r m ，鲍依斯一科得范式) 、l l硕士学位论文第三章数据库逻辑设计优化4 n f ( f o u r t hn o r m a lf o r m ，第四范式) 、5 n f ( f i f t hn o r m a lf o r m ，第五范式)等几种，在工程中3 n f 、b c n f 应用得最广泛，一般而言，进行数据表的设计都要满足第三范式( 3 n f ) 的要求，满足3 n f 要求的表从理论上讲是最符合标准化要求、最少冗余、易于维护和满足数据库完整性要求的表。规范化的概念如下：i n f ：如果一个关系模式r 的所有属性都是原子的，也就是其属性域中的元素是不可再分的单元，则称是属于1 n f 的关系模式。例：教师情况表t e a c h e r ( t e a c h e r _ id ，t e a c h e r n a m e ，a d d r e s s ，t e l e p h o n e )由于一个教师可能有多个电话号码，则t e l e p h o n e 可能有多个值，该关系不满足i n f 的要求。2 n f ：如果关系模式r ( u ，f ) 属于1nf 的，且r 中每个非主属性都完全函数依赖于关键字，则r ( u ，f ) 属于2nf 。例：学生选课表s t u _ c o u r s e ( s t u _ i d ，s t u _ n a m e ，c o u r s e _ i d ，c o u r s e _ n a m e ，g r a d e )该关系中主键为“s t u i d + c o u r s e i d ，但属性s t u n a m e 仅依赖于s t u _ i d ，c o u r s e _ n a m e ，g r a d e 仅依赖于c o u r s e _ i d ，故该关系不满足2 n f 的要求。3 n f ：如果关系模式r ( u ，f ) 属于2 n f ，且所有非主属性都不传递依赖于关键字，则r ( u ，f ) 属于3nf 。例：课程表c o u r s e ( c o u r s e - i d ，c o u r s e _ n a m e ，t e a c h e r _ i d ，t e a c h e r _ n a m e )该关系中主键为“c o u r s e _ i d ，但“t e a c h e r n a m e 依赖于“t e a c h e r _ i d ”而传递依赖于主键，故该关系不满足3 n f 的要求。范式的等级越高，应满足的约束集条件也越严格。规范的每一级别都依赖于它的前一级别，例如若一个关系模式满足2 n f ，则一定满足1 n f 。即：1 n f 2 n f 33 n f 3b c n f 4 n f 35 n f3 2 数据库逻辑设计规范化的基本途径1 非规范化的关系模式存在的问题非规范化也叫反范式，下面通过一个案例来了解非规范化的关系模式存在的问题。如对于上述的学生选课表s t u c o u r s e ( s t u i o ，s t u n a m e ，c o u r s e _ i d ，c o u r s e n a m e ，g r a d e ) ，其具体的表数据如表3 1 所示：1 2硕士学位论文第三章数据库逻辑设计优化表3 - 1 学生选课表s t ui ds t u _ n a n l ec o u r s e _ i dc o u r s e _ n a m eg r a d e0 0 0 1张三z y 0 0 0 1计算机基础9 20 0 0 1张三z y 0 0 0 9数据结构7 90 0 0 2李四z y 0 0 0 1计算机基础8 50 0 0 2