（计算机应用技术专业论文）电信资源管理系统的数据库性能优化技术研究.pdf

摘要 随着电信行业进行重组，电信业务系统中数据库应用将越来越广泛。如何 充分利用现有软件与硬件资源获得最大的数据处理能力，将成为电信级数据库 应用中的一个重要课题。 数据库性能调整与优化涉及到多个层面，通过统一的规划、系统的分析做 出相应调整，可以提高数据库的稳定性和可用性，保障系统高效地运行，解决 系统瓶颈，节约系统丌销，具有良好的应用价值，同时也对理论研究提供了一 定的方法指导。 本文针对电信本地网资源管理系统( n e t m a s t e r ) 的数据库进行性能分析。 通过对n e t m a s t e r 体系结构与o r a c l e 数据库体系结构的分析，提出一套针对电 信行业的数据特点，对数据库性能进行针对性的优化方法。论文以o r a c l e 数据 库的体系结构为中心，从数据库的内存结构、物理存储结构、逻辑存储结构、 同志重做机制以及高可用性等不同方面对o r a c l e 数据库进行性能优化，通过使 用工具s t a t s p a c k 和o r a c l e 内部动态视图监测数据库的运行状态，明确了导 致o r a c l e 数掘库性能问题的主要瓶颈，并分析了这些瓶颈的产生过程。根据分 析结果对电信本地网资源管理系统( n e t m a s t e r ) 的数据库性能问题进行调整， 为电信级数据库的性能优化提供了一个可参考的方法。 关键字：o r a c l e ，性能调整与优化，n e t m a s t e r ，s t a t s p a c k a b s t r a c t w i t ht h er e s t r u c t u r i n go ft h et e l e c o m m u n i c a t i o ni n d u s t r y , d a t a b a s ei sw i d e l y u s e di nt e l e c o mi n d u s t r y h o wt om a k ef u l lu s eo fe x i s t i n gh a r d w a r ea n ds o f t w a r e r e s o u r c e st og e tt h em o s to fc a p a c i t yo fd a t a p r o c e s s i n gb e c o m ea ni m p o r t a n ti s s u e o ft h ed a t a b a s ea p p l i c a t i o n so ft h et e l e c o m l e v e l d a t a b a s ep e r f o r m a n c et u n i n ga n do p t i m i z a t i o ni n v o l v e san u m b e ro fl e v e l s ，w e c a ni m p r o v et h es t a b i l i t ya n da v a i l a b i l i t yo fd a t a b a s e ，g u a r a n t e ei t sh i g hr u n n i n g e f f i c i e n c y , s o l v es y s t e mb o t t l e n e c k ，r e d u c es y s t e mo v e r h e a d ，o b t a i nc o n s i d e r a b l e a p p l i c a b i l i t ya n d i nt h em e a n w h i l e ，p r o v i d es o m eg u i d e l i n e sf o rt h e o r e t i c a lr e s e a r c h t h r o u g hau n i f i e dp l a na n ds y s t e m a t i c a la n a l y s i st om a k ea p p r o p r i a t ea d j u s t m e n t t h i sa r t i c l em a k ea n a l y s i so fp e r f o r m a n c eo fd a t a b a s eo nn e t m a s t e r i tp u t f o r w a r das e to fm e t h o do fo p t i m i z a t i o no ，ft h ed a t a b a s ep e r f o r m a n c ew i t hf e a t u r eo f d a t ao ft h et e l e c o mi n d u s t r yt h r o u g ha n a l y s i so ft h es t r u c t u r eo fn e t m a s t e ra n dt h e a r c h i t e c t u r eo ft h eo r a c l ed a t a b a s e t h em a i na r o u n dt h ea r c h i t e c t u r e o fo r a c l e d a t a b a s em a k et h eo p t i m i z a t i o no nd i f f e r e n ta s p e c t sw h i c hi n c l u d es t r u c t u r eo f m e m o r y ，t h es t r u c t u r eo fp h y s i c a ls t o r a g e ，t h es t r u c t u r e so fl o g i co fs t o r a g e ，r e d o l o g sa n dh i g ha v a i l a b i l i t y t h r o u g hd e t e c tt h eo p e r a t i o n a ls t a t u so fd a t a b a s ew i t ht h e t o o lo fs t a t s p a c ka n dt h ev i e w so fo r a c l e i n d i c a t et h eb o t t l e n e c k sw h i c hl e a dt o t h ep r o b l e m so fp e r f o r m a n c eo r a c l e a d j u s tn e t m a s t e ra c c o r d i n gt ot h er e s u l t so ft h e a n a l y s i s ，t h a np r o v i d ear e f e r e n c em e t h o df o r t h et u n i n go fa p p l i c a t i o n so fd a t a b a s eo f t e l e c o m m u n i c a t i o n k e yw o r d s ：o r a c l e o p t i m i z a t i o n ，n e t m a s t e r ，s t a t s p a c k 独创性( 或创新性) 声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞洼王些太堂或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在 论文中作了明确的说明并表示了谢意。 学位论文作者签名：陈= 哥签字同期：冲年z 月苟日 学位论文版权使用授权书 本学位论文作者完全了解云洼王些太堂有关保留、使用学位论文的规 定。特授权云莲王些盔堂可以将学位论文的全部或部分内容编入有关数据库 进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权晚明) 学位论文作者签名： 豚碍 i 签字同期：矽7 年2 月万闩 导师签名： 尹础 学位论文主要创新点 一、采用o r a c l er a c 集群技术使得节点通过高速集群互联同步其内 存高速缓存，并对所有节点的磁盘数据访问进行共享，通过并行计 算和负载均衡的深入研究，最大限度地低降低磁盘i o 对数据库查询 效率的影响，相对于目前一般数据库系统，极大的提高了数据库处 理速度、数据可用性、数据安全性和数据集可扩性，对数据库查询 效率将提高2 0 左右。 第一章绪论 1 1 研究背景 第一章绪论 数据库技术是计算机科学技术发展最快、应用最广泛的领域之一，在信息 管理自动化程度同益提高的今天，数据库技术已经成为现代计算机信息系统和 应用系统的基础和核心。当前数据库应用越来越广泛，数据量越来越大，数据 处理越来越复杂，对数据库性能的要求也越来越高。如何充分利用现有软硬件 资源，获得最大的数据处理效果成为数据库使用中的一个重要的课题。 电信网络资源是电信企业拥有、管理、使用的，为了满足客户的通信或信 息服务所建设的网络组成要素的总和。电信网络资源管理系统正是为了管理这 些企业的核心资源数据而建立的，主要管理的范围包括管线网、传输网、交换 网、数据网、动力网等各种在网的设备及其使用情况，以及各种设备间的关联 关系。电信网络资源数据具有存在性，又有使用性和动念性，系统建设难度比 较大，但是它对电信企业的作用十分重大，不仅可以支撑企业的网络运行和维 护，也可以支撑企业的市场和客户，甚至可以支撑固定资产管理和工程计划建 设。所以各电信企业都在努力进行适合自己企业的资源管理系统建设，以获得 电信行业竞争中的又一法宝。 随着当前信息数据大量交互，数据库技术进入成熟应用的时代，数据库的 性能优化已经演变为一项相当严密的系统工程。o r a c l e 数据库是目前国际流行 的大型数据库，以其支持大数据库、多用户的高性能联机事务处理( o n l i n e t r a n s a c t i o np r o c e s s i n g ，0 m ) 和联机分析处理( o n l i n ea n a l y t i c a lp r o c e s s i n g ， o l ”) ，支持分布式处理等业界各项标准，使得在大型企业中使用十分广泛， 但由于其结构比较复杂，给同常维护和系统优化带来了一定难度和较大的工作 量。企业首先需要明确的问题就是，无论从什么样的角度切入，都要确保优化 行为能够与l t 系统的整体管理框架保持协调地联动，因为数据库的性能问题不 仅仅局限在数据库内部，在大部分情况下其优化行为都要围绕l t 整体性能调优 的思路展丌。 1 2 国内外研究现状 2 0 世纪7 0 年代，美国的t o n yd a u g h e r t y 提出了数掘库性能优化的概念， 不仅对数据库应用系统的研究起了重要作用，而且对数据库性能问题的研究也 天津：业人学硕七学位论文 起了开创性的作用。2 0 世纪8 0 年代，( ( p e r f o r m a n c et u n i n gb a s i c s ) ) 中提出了“性 能调整”的概念，论及性能调整是一项通过修改系统参数、改变系统配置( 硬件 调整1 、优化组件应用来改变系统性能的活动，对此o r a c l e ，m ss o ls e r v e r 等 数据库业界通常认为性能调整的目的是通过将网络流通、磁盘l o 和c p u 时间 减到最小，使每个查询的响应时间最短并最大限度地提高整个数据库事务的吞 吐量。在数据库性能调整和优化技术的发展中，人们逐渐认识到数据库的性能 调整技术是保障应用系统和数据库稳定、高效运行的一项重要技术。 随着数据库理论逐步完善、成熟和发展，对数据库应用系统性能优化研究 也逐步深入，优化技术和方法同趋完善和成熟，尤其在关系数据库应用方面。 目前数据库实例优化研究大多集中在o r a c l e 、s q l s e w e r 和s y b a s e 等数据库， 它们所采用的优化技术大多为查询优化技术，而且取得了很好地效果。m ss q l s e r v e r 对性能调整和优化的研究尤为深入，特别是针对其自身的特点，在数据 库服务器调整方法、大小估计与容量规划、应用调整等方面提出了较好的理论 和实践方法。人们所熟悉的o r a c l e 数据库在确定数据的分稚时，为了提高代价 估计的精确度，引入直方图来描述数据值的分布。在它的最新版本o r a c l el o g 中，将基于规则的优化方法完全剔除，查询优化器在处理查询时只使用基于代 价的优化方法，并在性能优化调整方面提供了自动数据库诊断监控器a d d m 、 应用的端到端追踪、自动优化统计信息收集及自动共享内存管理等新特性。现 今，起源于伯克利( b s d ) 的数据库研究计划的关系型数据库管理系统 p o s t g r e s q l 己经对查询优化给予了很大的改进，其中一个重要的突破就是将基 因算法( g a g e n e a r i t h m e t i c ) 应用到了查询优化的领域中来，此算法足一种启发 式的优化法，它通过既定的随机搜索进行操作可以对包含有极广查询需要的数 据库应用领域。另外，美国a u s t i ni n s t i t u t e 着重于数据库系统体系结构的研究， 涉及内存结构方面的数据库缓冲区高速缓存、重做同志缓冲区、共享池等问题， 提出了数掘重分佰、共处理连接等概念。 中国电信网络资源管理系统建设起步比较晚，国内部分资源管理系统在总 体架构上，都在向集团的m b o s s 规范靠拢。虽然各厂家的系统总体方案不同， 但是核心数据模型和业务模型以及技术架构都比较相似。但由于资源系统的复 杂性和各丌发厂商的实力不同，在满足集团规范化和各地个性化需求上，还存 在比较大的差别，目前包括中国电信、中国网通、中国移动、中国联通都正在 或者即将采用以省为单位的统一版本集中管理模式，建立在这样的框架下资源 管理系统具有应用变化频繁、数据量大、访问频繁、技术层次众多等特点。 随着我国电信行业整体的快速发展，随着业务系统组成结构的不断复杂， 使得电信资源管理系统中数据量不断增加，数据交互复杂度与频度的提升，导 2 第一章绪论 致了数据库在运维、迁移和规模扩展进程中的性能问题。现在国内资源管理水 平正处在综合资源管理的快速阶段，管线资源和设备资源融合证在进行，9 7 改 造、机线整合也顺利进行。大量国内外工程经验表明，应用软件的优化往往是 整个计算机系统优化的关键，与硬件的升级相比，其往往会收到更好、更经济 的效果。建设资源节约型社会需要我们更多地把精力投入到系统内在效率的提 升，而不应总是寄希望于对硬件扩容，因此对于数据库的优化显得尤为重要。 1 3 研究意义及目的 o r a c l e 是目自i f 使用最为广泛的大型数据库管理系统，提高o r a c l e 数据库系 统的运行效率，是整个电信资源管理系统高效运转的前提和保证，确保电信企 业l t 基础部件健康运营。数据库优化的根本目的是为了避免磁盘l o 瓶颈、提 高c p u 利用率和减少资源竞争，从而提高数据库的吞吐量和降低数据库的响应 时问。o r a c l e 数据库优化的结果对提高电信资源管理系统的可用性和执行效率 具有非常重要的意义，特别是在o r a c l e 数据库设计开发阶段对逻辑结构和物理一 结构进行有效的优化设计，创建一个规划布局合理的数据库，可以获得最小的 系统丌销，能从根本上大大提高应用系统的整体性能，解决数据库系统运行过 程中性能的渐进性下降或性能突降等问题，以保证系统的优良性能，对于后期 数据库性能调整和利用都有很大的好处。如何使有限的计算机系统资源充分发 挥应有的作用? 如何保证用户的响应速度和服务质量? 如何保证未来的某个时 间保持现有的运行性能? 这些问题都属于数据库优化性能优化的范畴。随着数， 据库规模的不断扩大，数据库系统的性能问题也越来越突出，数掘库应用系统 能否正常、高效地运行倍受关注，数据库优化技术方法的探索具有非常重要的 意义。 中国电信的资源管理系统现在已经发展到了综合资源管理系统阶段，各电 信公司与丌发商一起成功地建立了各本地网的资源管理系统，虽然系统中还存 在一些问题，但是也取得了不少的成绩。今后资源管理系统将向“纵向集中， 横向整合”的方向发展，实现纵向集团、省、市三级完全集中，横向各专业无 缝整合，将以应用为目标，把系统建成企业核心数据库，全国的系统将会从多 样化的版本走向核心模型的统一。在这样的环境下，对数据库的承受能力提出 了挑战，如何充分发挥数据库的性能? 如何使用有限的计算机系统资源为更多 的用户服务? 如何保证用户的响应速度和服务质量? 将成为提高行业竞争力的 关键因素。 3 天津。i ：业人学硕十学位论文 1 4 本文的组织 论文针对电信系统统一资源管理系统进行数据库性能的分析。根据目前电 信行业数据库的性能问题，通过对支撑平台的结构分析与数据库结构分析，提 出一套针对电信行业的数据特点，对数据库设计阶段和运行阶段进行针对性的 优化方法。本课题的主要内容是： 1 全面阐述了数据库技术和数据库优化的一些基础知识。 2 通过一些实际的优化案例，说明优化的具体过程和实现结果。为电信 资源管理系统的性能优化提供一个可参考的模型。 本文针对电信业务系统的特点，提出数据库性能优化的方法。各章节安排 如下： 第一章综述了数据库性能调整的研究现状和发展概况，阐述了论文研究的 意义与目的。 第二章阐述数据库性能优化的相关内容，包括优化内容、优化目标、优化 采用流程及其工具，最后介绍数据库性能优化中常见问题及存在的误区。 第三章介绍了电信资源管理系统的组成结构，通过检测数据库的运行情况， 分析了数据库性能瓶颈及其产生的原因。 第四章通过第三章的瓶颈分析，根据分析结果针对性的进行相关性能调整。 并提出一系列可行性的性能调整方法。 第血章本章将对最终性能调整后的数据库系统进行性能测试，主要通过负 载平衡测试和并行执行测试。 第六章本章将对全文做出总结。 4 第二二章数据库性能优化概述 第二章数据库性能优化概述 2 1 性能调整与优化 性能调整是一项活动，这项活动通过优化应用程序、修改系统参数、改变 系统配置来改变系统性能。性能调整包括对硬件配置、操作系统与数据库管理 系统配置以及对访问这些组件的应用的详细分析与优化。性能优化是指进行有 目的地调整组件以改善性能，使得数据库的吞吐量最大限度地增加，相应的响 应时白j 达到最小化。数据库性能优化的基本原则就是：通过尽可能少的磁盘访 问获得所需要的数据。性能调整与优化的过程在某种程度上说是循环的，因为 要达到性能优化的目的，通常需要进行适当的性能调整，然后再查看优化结果， 如此反复直到达到满意的效果为止。一个数据库系统的生命周期可以分成：设 计、开发和成品三个阶段。设计阶段进行数据库性能优化的成本最低、收益最 大，成品阶段进行数据库性能优化的成本最高、收益最小。 在一个系统的生命周期内对系统进行调整，想利用较少的入力、物力而能 够收到较好的收益的话，最好在系统的设计和丌发期内进行。如果一软件己成 为产品，此时再进行系统调整，则耗费的精力最多，而收益最小。同样，对于 数掘库的优化，最好的时期是在系统的设计和丌发阶段，尽量避免在一系统成 型之后再进行优化。无论是设计或维护数掘库系统，都必须建立专门的性能指 标使人们能够有明确的目标，知道在何时进行调整。调整一个数据库系统的最 有效的步骤如下： 1 在设计系统时考虑系统的性能 2 在丌发应用程序时考虑系统的性能 3 调整操作系统的硬件和软件设置 4 识别系统的性能的瓶颈 5 确认问题的原因 6 采取纠币的动作 对于任何一个系统而言，良好设计的系统可以防止在应用生命周期以后产 生的性能问题。同时，每一个系统设计人员和应用丌发人员必须了解o r a c l e 的 查询处理机制以便编写有效的s q l 语句。以下提出进行系统设计时应尽量遵循 的原则： ( 1 ) 消除客户机服务器应用中不必要的网络传输。例如：使用o r a c l e 5 天津i ：业人学硕士学位论文 的r e p o r t 时，尽可能对单表进行处理，不要对多表进行j o i n 处理，以免造 成不必要的网络传输。 ( 2 ) 用适用于自己系统的相应的o r a c l e 服务器选件，例如采用集群形 式或分布式数据库等。 ( 3 ) 除非系统有特殊的需要，请使用缺省的o r a c l e 锁，无须自己对应 用程序进行加锁处理，以免产生不可预测的错误。 ( 4 ) 为了便于对数据库的每个应用进行跟踪调测，尽可能记住每一个 用户所运行的模块，便于今后对系统性能的跟踪。 为了保证o r a c l e 数据库运行在最佳的性能状态下，在系统丌发之前就应该 考虑数据库的优化策略。优化策略一般包括服务器操作系统参数调整、o r a c l e 数据库参数调整、网络性能调整、应用程序s q l 语句分析及设计等几个方面， 其中应用程序的分析与设计是在系统丌发之前完成的。 数据库优化覆盖数据库管理的所有侧面，包括应用程序本身的优化、数据 库级的优化和操作系统的优化。性能优化中一个普遍的误区是将优化工作限制 在某个单一区域。同样是性能问题，其原因可能是s q l 编码不够优化、没有建 立和使用诈确的索引、参数配置不当、数据库存储分配不合理或数据库碎片。 这些性能因素之问存在着很多固有的联系，性能优化需要综合考虑所有可能因 素。 数据库系统性能的优化一般从以下几个层次进行，如图2 1 所示： ( 1 ) 数掘库应用的设计与优化：主要指应用程序中各种数据库对象的 设计与优化。如表与索引的设计与使用、s q l 语句的使用与优化等等 ( 2 ) 数据库的设计与优化：主要指数据库级的管理与优化。如数据库 内存缓冲区、存储分配与管理、数据库碎片等等。 ( 3 ) 操作系统的管理与优化：由于数据库总是运行子操作系统之上， 因此操作系统的优化是数据库良好运行的重要保证。 6 第二章数据库性能优化概述 数据库系统优化时建议采用从上至下逐层优化的方法。它的特点是先调整 高层的参数，然后调整较低层的参数。它符合高层实现是依赖于低层实现的事 实。如果反向调整，就会造成调整循环，浪费人力物力。 2 2 数据库优化目标 数据库性能优化是一件非常复杂的工作，需要很多数据库的相关知识和实 践经验。性能问题最终表现在系统的运行阶段，而引起性能问题的原因则可能 发生在应用系统生命周期的任何阶段，包括系统设计阶段、开发阶段、调试阶 段和生产阶段。优化内容覆盖操作系统、数据库以及应用程序。在数据库方面， 需要考虑应用负载、数据库实例以及物理存储和逻辑存储多方面的因素。孤立 的单一问题的检测对解决性能问题起到的作用很少，数据库优化需要综合所有 可能的性能因素。 优化工作是一个循环往复的过程，在优化工作前，需要设定优化的目标和 基准。当阶段性的优化工作结束后，需要设定新的基准，为以后的优化工作提 供依据。优化总是需要设定新的目标，通过反复的性能优化和评估获得满足业 务需求的性能。 2 2 1 系统吞吐量的调整 吞吐量是指单位时间内数据库完成的s q l 语句数目，以每秒钟的事务量 ( t p s ) 表示。提高系统吞吐量可以通过减少服务时问在同样的资源环境下做更多 的工作或通过减少总的响应时问使工作做得更快这两种方法来实现。因此系统 吞吐量的定义如公式2 1 所示： 吞吐量= 事务量时间( 公式2 - 1 ) 上述公式中的时问是指系统完成摄大工作量所花的时间。现在考虑一个为 客户预定体育比赛门票的公司：如果该公司的营业时问为每天8 小时，并且在 销售体育比赛门票的第一天必须卖出2 5 0 0 0 张门票，那么该公司的门票预定系 统的吞吐量必须等于或大于每小时3 1 2 5 笔事务。 吞吐量= ( 2 5 0 0 0 笔事幸8 小时) - 3 1 2 5 笔事务1 小时，或5 2 1 笔事务分钟 当然，以8 小时的时问i n j 隔来计算系统需要达到的吞吐量是不现实的，因 为并不是所有需求都足匀速到达系统。在设计系统软硬件规模和规划系统能力 时，我们是根据系统最忙碌的时问段柬计算系统所要达到的吞吐量的。这是设 计数据库系统的一条著名规律：为最糟糕的情况设计系统的软硬件规模。 7 天津i ：业人学硕十学位论文 2 2 2 缩短响应时间的调整 响应时间是指用户从提交s q l 语句丌始到获得结果集的第一行所需要的 时间，是应用做出反应的时间，以毫秒或秒表示。响应时间可以分为系统服务 时间( c p u 时i 日j ) 和用户等待时间两项。也就是晚，要获得满意的用户响应时间 有两个途径：一是减少系统服务时间，即提高数据库的吞吐量；二是减少用户 等待时问，即减少用户访问同一数据库资源的冲突率。 2 2 3 数据库c a c h e 命中率 o r a c l e 用户进程所需的所有数据都是经过缓冲区高速缓存来存取的。用户 对数据的需求能否在内存中得到满足并给出快速的响应，可用缓冲区高速缓存 命中率来衡量。该比率等于高速缓存命中总数除以对高速缓存的查找总数。由 于从高速缓存中读数据比从磁盘中读数据的丌销要小得多，因此一般应使该命 中率足够高。 2 ：2 4 系统容错能力的调整 对某些数据库系统最重要的考虑因素是将容错功能用到系统的各个方面。 在这样的系统中，任何时候出现的停机都将是灾难的。要求高容错能力的数据 库系统可能需要密集的检查点和经常的系统备份。当系统容错功能成为首要考 虑因素时，调整系统就必须考虑以下几方面的问题。首先，磁盘子系统应当采 用某种类型的r a i d ( r e d u n d a n ta r r a yi n e x p e n s i v ed i s k s ，廉价冗余磁盘阵列) 硬 件，以保证系统不会因为磁盘故障而受到影响；其次，在内存方面应当采用先进 的e c c 内存来保护系统。在某些实际环境中，如果系统运行时f h j 非常重要( a p 不允许在营业时问内停机) ，那么管理员甚至可以考虑采用一个冗余备份系统， 以便在主系统出现故障时启动该备份系统。 2 2 5 磁盘l0 的调整 某些数据库系统可能有这样的需求：在每天夜间将一定的数据量加载到系 统中，以使系统能在第二天处理。一般情况下，系统用于加载数据的时问是有 限的，并且必须在这段有限的时问内将一定量的数据加载到系统中。尽管系统 能满足加载数据的时l 日j 需求，但这样做可能需要为系统增加额外的硬件，从而 导致成本上升，这种情况下管理员必须为缩短数据加载时l 日j 而调整计算机的l o 子系统。为缩短数掘加载时问所做的系统调整可能会影响系统其他方面的性能， 对系统的数据加载性能和数掘库运行性能分别进行调整，可将可能带来的影响 r 第二二章数据库性能优化概述 减至最小。 数据库中发生的每个动作几乎都将产生某种类型的l o 活动，该活动可以是 逻辑的( 在内存中) ，也可以是物理的( 在磁盘上) 。通过降低不必要的l o 丌销 可以增加用户任务可获得的吞吐量，缩短用户响应时间。其中磁盘l o 操作是数 据库性能最重要的方面，是计算机最大的丌销。 2 3 优化步骤与工具 2 3 1 性能优化的步骤 不少人认为数据库应用系统的优化是在系统运行出现问题时爿进行的，其 实这种看法是错误的。优化工作是在进行系统计划和设计阶段就已经开始了， 并且一直贯穿系统的运行周期。在计划阶段就仔细地考虑优化工作，这会大大 减轻系统运行后的优化工作。在数据库的性能调优过程中需要应用程序设计人 员、应用程序丌发人员、数据库管理员以及系统管理员共同完成。下面以优先 顺序给出优化的步骤： 1 优化业务逻辑 为了得到最佳的性能，在数据库设计过程中要采用业务逻辑。这就关系到 对整个系统的高层分析和设计。像是否在系统范围内采用线程服务器这样的配 置问题就是这一阶段需要考虑的问题。这样设计者将性能要求同具体的业务需 求直接联系起来。 2 调整数据结构的设计 在数据设计阶段，设计人员必须决定哪些数掘足应用所需的，同时还要考 虑哪些关系是重要的，以及它们的属性是什么，还要确定哪些属性可以作为主 键( p r i m a r yk e y ) 或外键( f o r e i g nk e y ) 。最后，要构造好信息来更好地满足性能目 标。这一阶段需要对数据进行仔细分析，避免数据冗余，同时要考虑合理分布 数据，以防止数据存取的捌挤，如是否使用数据库的分区功能，以及对于经常 访问的数据库表是否需要建立局部还是全局索引等。 3 调整应用程序结构 这一部分也是在丌发信息系统之i i i 完成，设计人员在这一步需要考虑应用 程序使用什么样的体系结构，是使用传统的c l i e n t s e r v e r 两层体系结构，还是 使用b r o w s e r w e b s e r v e r d a t a b a s e 的三层体系结构，不同的应用程序体系结构要 求的数据库资源是不同。 4 优化数掘库的逻辑结构 这一阶段就是通过增加、减少或调整逻辑结构，如考虑在主键和外键上建 9 天津l ：业人学硕+ 学位论文 立索引之外，增加其它索引以提高系统性能。 5 优化数据库的操作 这一阶段主要是在优化数掘库服务器之前，首先确保在应用中己充分利用 了为了提高性能而设计的s q l 语句，如在o r a c l e 数据库中的数组的处理、o r a c l e 优化器、行级锁管理以及p l s q l 等。应用程序的执行最终将归结为数据库中 的s q l 语句执行，因此s q l 语句的执行效率最终决定了数据库的性能。无论 是书写新的还是调整已有的存在性能问题的s q l 语句都要以占用更少的c p u 或磁盘l o 等资源为主要目标。 6 优化存取路径 为了确保高效的数据存取路径，可以考虑使用簇( c l u s t e r s ) b t r e e 、位图索引 以及优化器提示。同时要考虑分析表及使用直方图来分析各列，以便帮助优化 器决定最佳查询计划。 7 优化内存分配 内存分配是在信息系统运行过程中优化配置的。以o r a c l e 为例，数据库管 理员可以根据数据库运行状况调整数据库系统全局区( s g a 区) 的数据缓冲区、 同志缓冲区和共享池的大小；还可以调整程序全局区( p g a 区) 的大小。需要注 意的是，s g a 区不是越大越好，s g a 区过大会占用操作系统使用的内存而引起 虚拟内存的页面交换，这样反而会降低系统性能。合理地分配内存资源可以提 高高速缓存的性能，降低s q l 语句解忻的时l 日j ，以及减少页而凋度及换页。 8 优化l o 和数据库物理结构 这一步是在信息系统丌发之自订完成的。数掘库管理员可以将组成同一个表 空间的数据文件放在不同的硬盘上，做到硬盘之间l o 负载均衡。 9 调整操作系统参数 例如：运行在u n i x 操作系统上的o r a c l e 数掘库，可以调整u n i x 数据缓 冲池的大小和每个进程所能使用的内存大小等参数。 数掘库的数据最终是存储在物理磁盘上的，对数掘进行访问就是对这些物 理磁盘进行读写，因此对于这些物理存储的优化足系统优化的一个重要部分。 对物理存储进行优化虽然并不能够减少对物理存储的读写次数，但却可以使这 些读写尽量并行，减少磁盘读写竞争，从而提高效率，也可以对物理存储进行 精密计算减少不必要的物理存储结构扩充，从而提高系统性能。 1 0 环境优化 包括调整底层平台和优化网络，通过对底层操作系统的调整使数据库运行 效率更高。例如：运行在u n j x 操作系统上的o r a c l e 数据库，可以调整u n i x 数据缓冲池的大小和每个进程所能使用的内存大小等参数。 第二章数据库性能优化概述 大型数据库的运行离不丌网络，所以网络配置的好坏也直接影响到数据库 应用系统的运行效率。例如：同样个应用程序在一个客户机上执行速度较快， 而在另一个客户机上却运行较慢，这就表明在网络上存在问题，需要对网络进 行调整。实际上，上述数据库优化步骤之间是相互联系、相互影响的。有时需 要几个步骤配合进行，有时在做完后面的调整工作后又需要回到前面的步骤进 行调整，如此反复不断直到达到理想的结果。图2 2 给出了调整步骤的方法示 意： 2 3 2 优化工具 图2 2 数据库调整基本步骤 要对数据库进行调整，就需要对它的各种性能指标进行监测，这就需要采 用合适的诊断工具。在o r a c l e 中使用的诊断工具主要有以下几种： 1 使用s q l t r a c e 与t k p r o f 要调整应用可以使用s q l t r a c e 与t k p r o f 。s q l t r a c e 是跟踪工具， 而t k p r o f 则是跟踪文件的语句分析工具。t r a c e 实用程序可以指定的查询、 批处理进程和整个系统做时问统计，通过查询并输入一个所执行的o r a c l e 查询 的统计信息，从而更好的找到系统中存在的瓶颈。由于生成的t r a c e 跟踪文 件非常难于读取，因此需要用t k p r o f 实用程序把它转换成可以阅读的格式。 2 使用s t a t p a c k 工具 o r a c l es t 盯s p a c k 是用来诊断o r a c l e 数掘库性能的强有力的工具。通过 s t a t s p a c k 我们可以很容易的确定o r a c l e 数据库的瓶颈所在，记录数据库性 天津i ：业人学硕十学位论文 能状态，也可以使远程技术支持人员迅速了解数据库运行状况。s t a t s p a c k 是一系列s q l 、p l s q l 和s q l * p l u s 脚本，这些脚本用来采集、自动执行、 存储并查看性能数据。 当自动收集活动进行的时候，s t a t s p a c k 会从内存结构中获耿相关信息， 并且将信息存储在s t a t s p a c k 表中，可以从s t a t s p a c k 表的信息中生成时 间序列报告。s t a t s p a c k 通过获取数据库当前状态的快照来进行工作，每个 统计信息的集合成为一个快照，在评估快照时s t a t s p a c k 报表只有在数据库 没有关闭或者重启的情况下才会有效。 2 4 常见问题及误区 1 只注意数据库本身的优化工作，忽略了应用系统部分的优化。海量数据库 系统是由数据库和它的应用系统共同组成的，优化工作也应该由这两部分组成， 目自订就应用系统的优化大部分都集中在s q l 层面，而比较少的考虑应用系统的 结构。 2 过多的追求缓存的高命中率问题。如果过于强调缓存的命中率，那么就意 味会损失过多有价值的信息，其实并不一定高的命中率就代表高性能。例如： 一个命中率为2 0 的一个数据库仓库可能性能很好。相反，数据库如果预感因 为某些特定的语句生成了大量的逻辑l o 凋用，那么单从命中率来看系统性能不 错，但是实际上却很糟糕的情况。 3 以偏概全的问题。从本质上来说，数据库优化首先要对系统的性能统计数 掘进行采集，然后进行分析，最后是优化。既然是数据采集，就会有误差。如 何消除误差呢? 只有增加采样次数来降低，所以就以一次的数据来说明数据库 系统的问题出在哪罩是比较武断的做法。 第三章数据库系统性艟瓶颈分析 第三章数据库系统性能瓶颈分析 3 1 电信资源管理系统介绍 经过十几年的高速发展，中国电信各本地网网络蝮模日益扩大，各类网络 资源十分丰富。但与此同时业务的提供速度和资源的利用辜却不尽人意。随着 电信竞争的深入，如何通过一种网络资源管理体系调动企业各部门有效配置网 络资源，加快业务提供速度、提高竞争力是整个中国电信集团和各本地网当 前面临的重要课题。当前，中国电信网络资源管理需要解决的主要问题包括： 1 全面、准确地掌握网络中的各类尉络资源数据。 2 形成一套面向市场的、流畅的业务流程，加快业务提供的速度。 3 优化网络资源结构，提高网络配置的利用率和合理性。 中国电信希望通过网络资源管理系统的建设，实现包括集网络调度、设备 管理、业务管理为一体的资源综台管理系统。结合业务管理流程的改善，把电 信资源以快速、优质的方式提供给用户，提高中国电信面向网络资源的管理能 力、面向业务的提供能力，从而提高面向市场的竞争能力。中国电信本地月资 漳管理系统整体结构如图3 - 1 所示： b s s 、l s s 葛舀昌豇 l 王兰 _ 女* * -# t t ， o s s 叠皂，鼍毒鼍-。巷誊，叠誊一 哥谭鼓* 庄 月层： 创造量i 擞 据许值 ! ! ! ! 一 i 鳘| j 系统组成酗 # 膏* 美 宴现膏蠢t 天津1 ：业人学硕十学位论文 中国电信本地网资源管理系统是实现上述目标的主要支撑系统。它将实现 资源的全面掌握、快速利用与合理优化，具体来说包括： 1 形成本地网完整的、综合性的电信资源仓库以取代以l ； 分散、零碎、混 乱的各种资源数据，并能提供多种层次、多种角度的电信资源视图。同时通过 全面的普查、严格的流程管理和各种技术手段来保证电信资源数据的准确性。 2 形成一套面向市场的、高效的业务流程及其管理手段，以避免以前面向 网络技术划分职能部门导致对市场部门强有力支撑的匮乏，从而加快业务提供 的速度。本地网资源管理系统将服务于前台的市场营销系统并成为连接前台的 市场营销系统与后台各类网络生产维护系统的强有力而高效的纽带。 3 优化网络资源结构，提高网络配置的利用率和合理性。在全面、准确的 数据支持下，本地网网络资源管理系统应该具有丰富强大的数据统计和分析功 能，能够为本地网电信网络建设和规划提供决策支持。同时，在集中掌握各种 网络资源后，可提高资源调配的灵活性，适应网络技术和电信业务的多样化发 展趋势，提高资源的利用率，充分发挥多业务运营商的综合优势。 显然，上述建设目标的完成是一个长期和复杂的过程，这意味着资源管理 系统在初期就必须要制订分步骤的、长期的实施计划，在系统实施和投入使用 过程中根据各本地网的反馈以及网络与业务的演进进行不断完善。 本地网资源管理系统包括网络资源管理系统和资源调度管理系统、系统运 行管理三大功能体系。其功能体系结构如图3 2 所示： 幽3 2 系统功能图 本地网资源管理主要分为传送网络资源管理、管道网络资源管理、电缆网 络资源管理、光缆网络资源管理、交换网络资源管理等。管理功能主要考虑四 1 4 第三章数据库系统性能瓶颈分析 类用户使用：运行维护部门、市场经营部门、领导决策部门和规划部门。系统 采取典型的三层架构，客户层、服务器层以及存储层。所有的业务功能由服务 器层提供。客户层提供两种表现形式：桌面方式和浏览器方式。应用服务器采 用j 2 e e 技术，支撑动态的配置和灵活的发靠方式，具有系统负载均衡能力。应 用服务器包含四类主要的功能模块：系统支撑模块、网络资源库存模块、业务 提供和调度模块和查询统计模块等。这些模块提供各种服务对象，j n d i 服务器 提供这些服务对象名称服务。业务流程通过工作流引擎提供的流程描述语言进 行描述。系统架构如图3 3 所示： 3 2 数据库性能瓶颈分析 图3 3 系统结构幽 o r a c l e 数据库系统提供了相应的应用工具，管理人员可以方便地对o r a c l e 进行有效的管理。从而建立一个良好的环境，使系统发挥最大的效能。 但是，有时用户还是抱怨系统运行速度慢，对用户查询反应的时问长，即 出现所谓的瓶颈效应，这就需要管理人员对o r a c l e 进行调整。 调整主要涉及软件和硬件两部分。首要是调整计算机系统硬件各主要组成 部分，它们是造成瓶颈的主要因素。在o r a c l e 系统中比较常见的瓶颈出现在以 下部件中： 1 中央处理器( c p u ) 1 5 天津j ：业人学硕+ 学位论文 c p u 是计算机在运行中最重要的部分，如果c p u 总是运行在极限速度下， 那么我们说c p u 成为系统的瓶颈，尤其在多用户同时使用系统时，c p u 的计 算能力尤为重要。尽管多数情况下，都是由操作系统的内核来管理分配有效的 c p u 给o r a c l e 数据库进程使用。但是，仍然会出现过多的应用进程对c p u 使 用周期激烈竞争的现象。 2 内存 内存是计算机程序运行的场所，处于等待状态数据和请求信息也都存放在 内存中。如果内存不足，c a c h e ( 高速缓存区) 的命中率就不会太高，大部分所 需数据不在c a c h e 中，因此出现了瓶颈问题。 3 存储设备 诸如硬盘驱动器、c d r o m 等设备，用于存储系统所需信息，计算机系统 每秒能处理的最大l o 数量是固定的，当c p u 和内存要求的l o 速度大于系统的 速率时，存储设备的瓶颈就会发生。 4 网络 当网络负担太重，网络部件速度跟不上，不可能把数据传输得更快，网络 瓶颈就会发生。 5 其它 由于其它系统硬件或软件的原因而导致的瓶颈，如应用系统本身的设计问 题，超出系统吞吐量( 在定时问内系统处理数据的能力) 的限制等造成的瓶颈。 3 2 1 电信级数据库特点 目i i i ，几乎所有的电信公司，包括中国移动，中国联通，中国电信，中国 网通都币在或即将采用以省为单位的集中管理模式，建立在这样的框架下的客 户服务系统具有以下特点： 1 数据量大，随着电信业业务的不断发展，用户数量几何倍数的增 加，同时采用了以省为单位的集中服务模式，导致电信资源管理系统的数据量 二f | 常巨大。一般中小省的数据量能达到t b 级别，随着新业务的不断增加以及 用户水平的不断提高，系统数据量还会出现进一步增加和变化之中。 2 应用变化频繁，目前电信行业的竞争非常激烈，各大电信公司都在不断地 扩展新的业务以适应竞争的需要，作为资源支撑的电信资源支撑平台也需要作 出不断的变化。 3 逻辑层次众多，电信本地网资源管理系统作为支撑平台，相关联到众多技 术层次，如管线、数据库、业务支撑平台等。各个层次相互关联，增加了系统 管理的复杂度和难度。 1 6 第三章数据库系统性能瓶颈分析 电信资源管理