（计算机应用技术专业论文）缓存技术在管理信息系统中的应用研究.pdf

中文摘要 本文分析汇总了目前存在的各种数据缓存模型，全面、系统地归纳总结 了数据缓存技术的概念、分类和特点，并阐述了各种数据缓存系统在管理信 息系统中的应用和研究现状 。在此基础之上，提出了种针对于高速局域网 的分布式缓存系统 ，即基于 c a c h e网的数据缓存系统。旨在进一步提高数 据缓存系统的性能，通过减少网络传输时间，均衡 网络负载 ，减少访问服务 器的次数，实现提高客户机/ 服务器网络系统的检索效率 。基于 c a c h e网的 数据缓存系统 的主要思想是在网络的各个节 点上建立数据缓存区，并实现对 这些缓存区统一 调配和管理。并在此基础 上，通过分析数据缓存系统的特 点，提 出针对缓存一致性问题的解决方法，其中重点阐述为本文所提缓存系 统模型而设计的一种改进方法，即 目录表法。 然后，就本缓存系统的一些相关问题进行分析 ，给出相应的解决方法。 这些 问题主要包括 替换算法 、路 山策略、c a c h e网管理 、预取技术等。其 中，替换算法利用一种叫做有用度的多状态变量衡量缓存对象的有用程度， 实现缓存的高命中率 。路由策略是基于网络 高层的，而非网络层 ，吸取 了网 络层路 山算法的思想。木文在考虑路由策略时，为 了节省资源及提高效率， 将路由表和 目录表统一，既顾及了路由，又考虑了缓存 一致性。另外，在本 系统中，还采用了预取技术进一步提 高系统性能。 最后，通过对本缓存系统模型进行性能分析，可以看 出引入本缓存系统 后可以使网络系统 的加速 比得到很大的提高。除此之外，还将本缓存系统结 合 目前的管理信息系统，尤其是诸如图书馆书 日管理、台帐管理和档案管理 这样的大容量数据库检索系统，进行 了应用价值和前景的进一步研究。 关键词 :缓存技术 缓存模型 替换算法 缓存一致性 预取技术 路由策略 缓存性能分析 a b s t r a c t i n t h i s p a p e r , s e v e r a l d a t a c a c h e mo d e l s a re c o l l e c t e d a n d a n a l y z e d , t h e c o n c e p t i o n , c l a s s i f i c a t i o n a n d c h a r a c t e r i s t i c s o f d a t a c a c h e t e c h n o l o g i e s a r e g e n e r a l i z e d a n d s u m m a r i e d . t h e w r i t e r g i v e s a b r i e f i n t r o d u c t i o n t o t h e c u r r e n t a c h i e v e m e n t s a n d a p p l i c a t i o n o f v a r i o u s d a t a c a c h e s y s t e m s i n mi s . a d i s t r i b u t e d d a t a c a c h e s y s t e m s b a s e d o n c a c h e n e t w o r k i n t h i s p a p e r i s p r o p o s e d s o as t o i m p rov e t h e p e r f o r m a n c e o f d a t a c a c h e s y s t e m a n d t h e r e t r i e v e e f f i c i e n c y o f t h e n e t w o r k s b y r e d u c i n g t h e u s e r - p e r c e i v e d l a t e n c y , b a l a n c i n g l o a d , a n d r e d u c i n g t h e t o t a l n u m b e r o f a c c e s s r e q u e s t s t o s e r v e r . t h e m a i n p o i n t o f t h e d a t a c a c h e s y s t e m i s t o s e t u p d a t a c a c h e s e c t i o n i n e a c h n o d e o f n e t w o r k a n d t o r e a l i z e u n i f i e d a l l o c a t i o n a n d m a n a g e m e n t o f t h e c a c h e s e c t i o n s . a ft e r a n a l y z i n g c h a r a c t e r i s t i c s o f d a t a c a c h i n g , s e v e r a l s o l u t i o n s t o p r o b l e m o f c a c h e c o h e r e n c e a r e o f f e r e d a n d a n e w d i r e c t o r y l i s t s m e t h o d i s d e s i g n e d f o r t h e c a c h e s y s t e m . t h e w r i t e r t h e n p r o c e e d s t o a n a l y z e r e l a t i v e i s s u e s a b o u t t h e c a c h e mo d e l a n d o f f e r s o l u t i o n s t o t h e s e p r o b l e m s . t h e m a j o r i s s u e s i n c l u d e r e p l a c e m e n t a l g o r i t h m , r o u t e s t r a t e g y , m a n a g e me n t o f c a c h e n e t w o r k , a n d p r e f e t c h t e c h n i q u e , e t c . t h e r e p l a c e me n t a l g o r i t h m m a k e s u s e o f a v a i l a b i l i t y o f c a c h e o b j e c t c a l l e d s e r v i c e a b i l i t y o f m u l t i m o d e v a r i a b l e a n d s c a l e s o as t o g e t h i g h e r h i t r a t i o . r o u t e s t r a t e g y i n t h i s p a p e r i s b a s e d o n t h e a p p l i c a t i o n l a y e r , i n s t e a d o f n e t w o r k l a y e r , r e f e r r i n g t o t h e i d e a o f r o u t e a l g o r i t h m i n n e t w o r k l a y e r . f o r t h e p u r p o s e o f s a v i n g r e s o u r c e s a n d r a i s i n g e f f i c i e n c y , r o u t e l i s t s a n d d i r e c t o r y l i s t s a r e c o mb i n e d , w i t h b o t h r o u t e s t r a t e g y a n d c a c h e c o h e r e n c e t a k e n i n t o a c c o u n t . 功 a d d i t i o n , p r e f e t c h t e c h n i q u e i s u s e d i n t h e mo d e l t o i m p r o v e s y s t e m p e r f o r m a n c e . t h r o u g h a n a l y z i n g t h e p e r f o r ma n c e o f t h e c a c h e s y s t e m, t h e r e s u l t s s h o w t h a t t h e p e r f o r m a n c e o f c l i e n t/ s e r v e r n e t w o r k w i t h t h e c a c h e s y s t e m w i l l b e g r e a t l y i m p r o v e d . i n a d d i t i o n , t h e a d v a n c e d r e s e a r c h f o r t h e v a l u e a n d t h e f o r e g r o u n d o f t h e r e t r i e v e s y s t e m o f t h e h i g h e r c a p a c i t y d a t a b as e i s d o n e , s u c h as t h e c a c h e s y s t e m m o d e l w i t h c u r r e n t m i s , e s p e c i a l l y b i b l i o g r a p h y m a n a g e m e n t i n l i b r a r y , m a c h i n e a c c o u n t ma n a g e m e n t a n d f i l e m a n a g e me n t , a n d s o o n . ke y w o r d s : c a c h e t e c h n o l o g y , c a c h e m o d e l , r e p l a c e m e n t a l g o r it h m , c a c h e c o h e r e n c e , p r e f e t c h t e c h n i q u e , r o u t e s t r a t e g y , c a c h e p e r f o r ma n c e a n a l y s i s 独创性声明 本 人声 明所呈交 的学位 论文是本人 在导师指 导下进行 的研究 工作和 取得 的研究成果 ，除 了文 中特别加 以标注和 致谢之处外 ，论文 中不包含其 他人己经发表或撰写过的 研究 成果，也不包含为获得 k班或其他 教育机构 的学位或证书而使用过的材料。与我一同工作 的同志对本研究所 做 的任 何贡献均 已在论文 中作 了明确的说明并表示 了谢意 。 学 位 -vli 3c 作 者 签 名 : 王 潮 乎 签 字 日 期 :叶 年 月 7 日 学位论文版权使用授权书 本学 位论文作者完全了 解玉生大 匕有关保留、 使用学位论文的规 定。 特授权 一 孟生生一 可以 将学位论文的 全部或部分内容编入有关数据 库进行检索 ，并采用影印、缩印或 扫描等复制手段保存、汇编 以供查阅和 借阅。 同意学校 向国家有关部 门或机构送交论文 的复印件和磁盘。 ( 保密 的学位论文在解密后适用本授 权说明) 学 位 论 文 作 者 签 “ 工4 1 平 导师签名 : 签 字 日 期 : 叶年 6 月 7 日 签字 日期 : 第 i章绪论 第 1 章绪论 在计算机技术的发展过程中， c a c h e技术具有非常重要的作用。 它极大 地推 动计算机及其 网络 的应 用和普 及 。狭义地 说，数据缓存 技术就 是将 c a c h e技术运用于数据库应用系统中， 以期获得较高的数据检索效率和系统 性 能 。 引言 人类进入二十一世纪以后，信息产业将是各国发展现代化所必须发展的 先导性产业。随着信息化程度越来越高，其位置将更加突 出，信息资源 的开 发利 用水平 已成 为一个 国家综合 国力的重要标 志。 目前 ，随着各行 各业 mi s系统的建立 ，数据库技 术的应用越来越广泛 ，如何提高数据利用率和 数据检索速度 已经摆到了重要位置。 传统的数据库应用系统可以提供数据采集 、存储、检索等基本功能，其 中对数据检索的要求尤为重要和突出，检索功能设计的优劣直接决定着软件 产品的生命期。快速、高效的数据检索是人们所追求的重要 目标之一，它的 提高对传统领域的办公 自动化系统 、信息管理系统 ( mi s ) 等数据库应用系统 的发展具有巨大的推动作用和不 可估量的意义。 c a c h e技术是高速缓存技术，它对计算机技术的发展起着重要 的作用 。 近十几年，计算机的处理能力大大增强，性能不断提高，计算机被广泛地普 及使用。但同时计算机系统各个部分性能的提高速度并不平衡 ，比如计算机 硬件 ，诸如 c p u、主存 、外存 等，它们的发展速度不 一 致 ，甚至有些差别 较大 。这样导致了它们之间 的接 口速率不匹配，容易造成局部 i / o 瓶颈 问 题，影响了整个系统性能发抨，也降低了系统 的可用性。c a c h e技术即是在 各部分接 口之间加入一个缓存 区，缓存区具有缓冲数据的作用 ，用 以缓解各 接 u之1 9 7 的输入输 出矛盾 。缓存技术不断地被人们改进和完善，应用于计算 机 系统 的 许多方 面 。如人们 熟 悉 的存储器 c a c h e系 统 、磁 盘 阵列 中的 c a c h e 系统、www 中的c a c h e 系统等 1 - 3 i 。其中磁盘 c a c h e 技术极大地改 善了外存储器与内存储器之间存取速度不匹配的问题;www 中的 c a c h e 系统也在很大程度上缓解了网络的带宽，促进了 i n t e r n e t / i n t r r n e t 的普及和 推1 一 。总之 ，计算机系统从宏观到微观 ，从存储系统 、硬盘系统到 www 第 i章绪论 第 1 章绪论 在计算机技术的发展过程中， c a c h e技术具有非常重要的作用。 它极大 地推 动计算机及其 网络 的应 用和普 及 。狭义地 说，数据缓存 技术就 是将 c a c h e技术运用于数据库应用系统中， 以期获得较高的数据检索效率和系统 性 能 。 引言 人类进入二十一世纪以后，信息产业将是各国发展现代化所必须发展的 先导性产业。随着信息化程度越来越高，其位置将更加突 出，信息资源 的开 发利 用水平 已成 为一个 国家综合 国力的重要标 志。 目前 ，随着各行 各业 mi s系统的建立 ，数据库技 术的应用越来越广泛 ，如何提高数据利用率和 数据检索速度 已经摆到了重要位置。 传统的数据库应用系统可以提供数据采集 、存储、检索等基本功能，其 中对数据检索的要求尤为重要和突出，检索功能设计的优劣直接决定着软件 产品的生命期。快速、高效的数据检索是人们所追求的重要 目标之一，它的 提高对传统领域的办公 自动化系统 、信息管理系统 ( mi s ) 等数据库应用系统 的发展具有巨大的推动作用和不 可估量的意义。 c a c h e技术是高速缓存技术，它对计算机技术的发展起着重要 的作用 。 近十几年，计算机的处理能力大大增强，性能不断提高，计算机被广泛地普 及使用。但同时计算机系统各个部分性能的提高速度并不平衡 ，比如计算机 硬件 ，诸如 c p u、主存 、外存 等，它们的发展速度不 一 致 ，甚至有些差别 较大 。这样导致了它们之间 的接 口速率不匹配，容易造成局部 i / o 瓶颈 问 题，影响了整个系统性能发抨，也降低了系统 的可用性。c a c h e技术即是在 各部分接 口之间加入一个缓存 区，缓存区具有缓冲数据的作用 ，用 以缓解各 接 u之1 9 7 的输入输 出矛盾 。缓存技术不断地被人们改进和完善，应用于计算 机 系统 的 许多方 面 。如人们 熟 悉 的存储器 c a c h e系 统 、磁 盘 阵列 中的 c a c h e 系统、www 中的c a c h e 系统等 1 - 3 i 。其中磁盘 c a c h e 技术极大地改 善了外存储器与内存储器之间存取速度不匹配的问题;www 中的 c a c h e 系统也在很大程度上缓解了网络的带宽，促进了 i n t e r n e t / i n t r r n e t 的普及和 推1 一 。总之 ，计算机系统从宏观到微观 ，从存储系统 、硬盘系统到 www 第 t 章 绪论 服务系统 ，c a c h e技术的引入使它们 的存储和检索性能都得到 了很大 的改 观。近年来，数据库技术和网络技术突飞猛进 、蓬勃发展，不断地运用于实 践当中，如 m i s系统、办公自动化系统、酒店管理系统、飞机定票系统 等。但也出现了检索效率低下等诸多问 题，这主要由于用户多、带宽不够等 原因造成的，如果将缓存技术引入这些领域将会使系统性能得到改善，检索 效率得到提高1 4 1 2数据缓存技术 随着信息量的迅速增 长， 对高性能数据检索系统 的需求越来越迫切。但 同时数据检索属于一种消耗资源 型操作，对 i / o及内存需求很高。近年来 ， 人们不断地研究 c a c h e 技术，使其在数据库检索中发挥作用，经过摸索、 实践，数据缓存技术取得了长足 的进步。我们知道，计算机网络计算模式经 历 了从终端系统、客户机/ 服务器 ( c / s ) 模式到 i n t r a n e t 模式的发展过程，其 中， c / s和 i n t r a n e t 模式在日前的网络系统中仍占据着突出的位置，尤其是 c / s模式，迄今为止 ，有相当数量的企事业单位还在使用或准备采用这种模 式，其实 i n t r a n e t 模式也是一种客户机/ 服务器( c / s ) 模式，我们把它称为瘦 客户机/ 服务器模式，而把 前者称为胖客户机/ 服务器模式 ，但无论哪种模 式，他们都属 于客户机/ 服务器这种网络体系结构，都会随着数据量的不断 增长 ，数据库容量 的不 断膨胀将会给 网络系统造成沉 重负担，导致 性能下 降，数据检索速度也因此放慢。传统的客户机/ 服务器 ( c l i e n t / s e r v e r ) 是两 层结构，客户端负责发送请求和接受处理结果，大量的数据操作通过远程数 据访 问的方式交给后台数据库服务器完成 ，这种结构在信息管理系统中取得 了巨大的成功，但是 ，也存在着 问题。首先，当大量用户访 问时，客户端和 后台数据库服务器间的数据传输量大且交换频繁，易造成网络瓶颈 ;其次， 由于数据库服务器需要为侮个用户 的请求提供处理功能，当用 户访问量大 时，系统负载过重，性能难于提高，成为系统扩展的瓶颈;再次，系统对用 户事务处理变化的适应能力和扩展能力有 限，当访问数据量增大或者事务处 理变得复杂时，系统灵活性差 1 当采用数据缓存技术后，可以 缓解这些问 题，收到 良好的效果。简单地说，就是在服务器和客户机 中间加入一个中间 层，即数据缓存 区 c a c h e ) ,当客户机 向服务器请求数据时，首先访问数据 缓存 区，如果存在所 需数据 ，则取回 ;否则 ，再搜索后台数据库 ，取 回数 据，并在数据缓存区中复制一 份 以备下次使用 。这就是数据缓存系统，数据 第 t 章 绪论 服务系统 ，c a c h e技术的引入使它们 的存储和检索性能都得到 了很大 的改 观。近年来，数据库技术和网络技术突飞猛进 、蓬勃发展，不断地运用于实 践当中，如 m i s系统、办公自动化系统、酒店管理系统、飞机定票系统 等。但也出现了检索效率低下等诸多问 题，这主要由于用户多、带宽不够等 原因造成的，如果将缓存技术引入这些领域将会使系统性能得到改善，检索 效率得到提高1 4 1 2数据缓存技术 随着信息量的迅速增 长， 对高性能数据检索系统 的需求越来越迫切。但 同时数据检索属于一种消耗资源 型操作，对 i / o及内存需求很高。近年来 ， 人们不断地研究 c a c h e 技术，使其在数据库检索中发挥作用，经过摸索、 实践，数据缓存技术取得了长足 的进步。我们知道，计算机网络计算模式经 历 了从终端系统、客户机/ 服务器 ( c / s ) 模式到 i n t r a n e t 模式的发展过程，其 中， c / s和 i n t r a n e t 模式在日前的网络系统中仍占据着突出的位置，尤其是 c / s模式，迄今为止 ，有相当数量的企事业单位还在使用或准备采用这种模 式，其实 i n t r a n e t 模式也是一种客户机/ 服务器( c / s ) 模式，我们把它称为瘦 客户机/ 服务器模式，而把 前者称为胖客户机/ 服务器模式 ，但无论哪种模 式，他们都属 于客户机/ 服务器这种网络体系结构，都会随着数据量的不断 增长 ，数据库容量 的不 断膨胀将会给 网络系统造成沉 重负担，导致 性能下 降，数据检索速度也因此放慢。传统的客户机/ 服务器 ( c l i e n t / s e r v e r ) 是两 层结构，客户端负责发送请求和接受处理结果，大量的数据操作通过远程数 据访 问的方式交给后台数据库服务器完成 ，这种结构在信息管理系统中取得 了巨大的成功，但是 ，也存在着 问题。首先，当大量用户访 问时，客户端和 后台数据库服务器间的数据传输量大且交换频繁，易造成网络瓶颈 ;其次， 由于数据库服务器需要为侮个用户 的请求提供处理功能，当用 户访问量大 时，系统负载过重，性能难于提高，成为系统扩展的瓶颈;再次，系统对用 户事务处理变化的适应能力和扩展能力有 限，当访问数据量增大或者事务处 理变得复杂时，系统灵活性差 1 当采用数据缓存技术后，可以 缓解这些问 题，收到 良好的效果。简单地说，就是在服务器和客户机 中间加入一个中间 层，即数据缓存 区 c a c h e ) ,当客户机 向服务器请求数据时，首先访问数据 缓存 区，如果存在所 需数据 ，则取回 ;否则 ，再搜索后台数据库 ，取 回数 据，并在数据缓存区中复制一 份 以备下次使用 。这就是数据缓存系统，数据 第 1 章 绪论 缓存技术和网络系统的结合。对于某一种具体的数据缓存技术 ，不仅需要考 虑缓存系统的组织模式，即缓存模型，还需考虑缓存对象的替换算法、缓存 系统的预取算法、缓存区的管理机制、缓存区容量大小和缓存一致性等有关 问题。因为这些问题的成功解决会极大地提高缓存命中率，换句话说，这些 问题与提高系统性能有密切的联系 。如何保证缓存模型的实用性?通过对缓 存系统模型的性能分析去验证该缓存系统 的性能和有效性。由此，数据缓存 技术的研究内容主要是如何设计一个好的缓存模型，使其能更好地提高网络 系统检索性能 6 1 目前在国内有不少有关数据缓存技术应用的典型例子，如 “ 中国铁路客 票发售和预定系统” ，该系统采用了客户端缓存系统 ，即在客户端建立数据 缓存区 c a c h e ，并对缓存 区提供一套完善的管理功能，最终实现系统的快速 响应，该系统的运行效果己 在实践中得到了证明f 7 1 最近，在文献中还相继 见到了有关分布缓存体系和虚拟缓存系统等方面的研究。以 卜 这些都为以后 在该领域 的深入研究提供了实例和思路，这也将为数据缓存技术的发展带来 美好的前景。 近期国内国外关于数据缓存技术的研究 内容主要侧重以下儿个方面: ( 1 ) 客户端数据缓存系统。c a c h 。建立在客户机端，用以缓冲对服务器 的数据访 问量 。 ( 2 ) 集中式数据缓存系统。c a c h e被设置在某个地方，如服务器、网 关，用 以缓解用户对数据库访问的 1 / o次数，提高效率。 ( 3 ) 分布式数据缓存系统。在网络的一些节点，包括客户端和服务器中 都建有 c a c h e 。这 些 c a c h e相互联系，共同协作为用户提供检索服务，目 前关于这种缓存系统研究较多，出现的缓存模型也不尽相同 “ 一 “ 。 ( 4 ) 虚拟数据缓存系统。严格地说，它也是 一 种分布式数据缓存体系， 但其技术更复杂，难度更大，实现困难。所以将其单独归为一类，它主要是 将整个 网络的 c a c h e 统一调度 、分配和管理，以使其性能发挥到最好。 这些数据缓存技术 的目的都是为了提 高数据利用率和检索效率 。应 当 说，现阶段对数据检索技术和缓存技术的研究范围很广，而且更趋于全面、 深入 ，涉及到宏观 、微观多个层次 ，并 且逐步 由理论走 向实 际应用 。比如 a g e n t 技术、中间件技术等一些新技术、新方法都相继被引入到数据检索的 研究当中 川。 第 1 章 绪论 3研 究意义及必要性 在我国，存在有大量的数据库应用系统，且许多系统存在数据利用率和 检索 效率 不高的问题 。这些 问题给开发者 增加 了成本 ，给使用者带来了不 便，具体如下所述: 首先 ，在相 当多的国内企业中，现有计算机 的硬件和软件 系统性能不能 满足信息量的快速增长的要求 。这种矛盾将会导致数据检索效率降低 ，系统 性能下降。众所周知，在过去 的十几年中，计算机技术飞速发展， 卜 如计算 机业界所提出的摩尔定律，计算机硬件水平每 1 8个月就要有 一个提高或换 代 。然而 ，大部分单位却 由于经济拮据等 问题无法跟进升级和换代 。同时， 现有系统 的数据急增使得系统资源严重不足，性能急剧下降，数据检索速度 缓慢，系统的可用性降低 。如何在保护现有资源 的同时摆脱这种矛盾 ，最终 提高系统性能和数据检索速度 ?通过本文 的研究成果可以从全新的角度增加 解决这个 问题的思路。 其次 ，网络 的出现也带动 了数据库应用的发展 ，现有的绝大部分信息管 理系 统是 基于 网 络 的，而且 有相 当 数量 采用 的 是关 系数 据库 管 理系 统 ( r d b ms ) 和 c l i e n t / s e r v e : 模式。网上各个用户对后台数据库的大量访问， 导致对数据库的 1 / 0急增，造成网络瓶颈 ，抑制了数据的检索 ，降低 了网络 系统的性能和可用性。如果采用了本文所提出的数据缓存技术 ，可以实现均 衡网络负载，提高数据访问速度，它的主要作用是在 c l i e n t 和 s e r v e r 中间 建立一 个 中间层 ，即数据 缓存 区 ( c a c h e ) ，缓 解这 两者之 间 的传 输矛 盾 1 2 1 最后 ，许多数据缓存技术是基于一端 的或者 说是不对称的，既要么采用 客户端数据缓存系统，要么采用集 中式数据缓存系统或变形的集中式数据缓 存系统。本文旨 在探讨一种新型分布式数据缓存系统，借以提高 c a c h e中 数据的利用率和提高系统整体性能。 在 目前存在 的 一 些数据检索技术当中，有些的确对数据库检索系统的发 展起 到过重要作用 ，但对这些技术 的研究也存在许多不尽人意的地方。第 一，从编程技巧和从 d b ms的角度研究的较多，而侧重从整体体系结构研 究的较少 ，这是 由于人们从这些角度容易入手 ，了解较多;第二，众所周 知，硬件系统是软件系统的基础，它的提高和改善将会给软件系统带来巨大 的变化所以，人们 多从硬件技术的研究入手;第二，在研究数据缓存技术 问题时，因涉及到网络性能、服务器性能 、数据库性能等多领域，对一些细 第 1 章 绪论 节无从下手，成就感不强，也导致人们趋于从其它方面研究;第四，即使使 用了一些数据缓存技术，但由于可操作性不强等等原因也不愿继续深入研 究。 本文将着重从目 前应用最为广泛的 c l i e n t / s e r v e r 模式出发，建立基于 物理网络之上的 c a c h e网络，以期减少 i / o次数，缓解对数据库系统的请 求压力，提高响应性能。 4本文的研究思路与框架 本文通过分析现有各种数据缓存技术 ，对其归纳、总结，列出分类及其 特点，形成较为完善的有关数据缓存技术的理论 。并在此基础之上，提出基 于 c a c h e 网络的数据缓存技术，并就有关的 一 致性问题、c a c h e 管理问题、 预取技术和路 由等相关问题展开讨论，提 出解决方案。最后对本缓存模型进 行性能分析 ，表明它可以达到均衡网络负载，减少数据传输时间，加快数据 检索速度的日标，如图 l 一 。 ( 1 ) 本 ,l 文将在第一章对 c a c h e的概念、特点及各种数据检索技术的发 展和研究意义进行阐述。 ( 2 ) 在第二章中，采用类比的方法对日前已存在的各种数据缓存技术进 行分析，对其归纳和总结，汇总出它们各 自的特 点及其不足之处。然后通过 分析 ，提 出改进 的方法，为本论文的研究内容作出铺i , 和准备。 ( 3 ) 在第三章中，是本论文的重点，在总结各种数据缓存技术的基础上 提出一种新的缓存系统模型，即基于 c a c h e网络的数据缓存技术 。具体阐 述其系统模型和工作原理，以及涉及到的一些算法。 ( 4 ) 在给出了本缓存系统模型后，还应讨论本缓存系统模型相关问题。 第四章将详细论述这些问题，并给 出相应 的解决方案。这些相关问题包括 : 缓存系统的数据一 致性问题、数据缓存区的管理机制、路 由策略、预取技术 等。除此之外，还应对缓存模型做出性能分析，表明木缓存系统的先进性， 因为缓存系统性能的好坏直接影响到这种方法或技术的成败。 ( 5 ) 为了更好地说明本缓存模型的实用性，将结合管理信息系统进行基 于缓存技术的应用研究。首先列出目前 巨 在使用一些诸如图书书 目管理、医 院病案管理、设备台帐管理等方面的管理信息系统所遇到的检索速度 方面 的 困难， 然后通过将本论文所述技术和这些传统检索技术比较，进而说明使用 本缓存系统后可以较为满意地实现用户的要求。最后，提出木 沦文所提方法 第 1 章 绪论 节无从下手，成就感不强，也导致人们趋于从其它方面研究;第四，即使使 用了一些数据缓存技术，但由于可操作性不强等等原因也不愿继续深入研 究。 本文将着重从目 前应用最为广泛的 c l i e n t / s e r v e r 模式出发，建立基于 物理网络之上的 c a c h e网络，以期减少 i / o次数，缓解对数据库系统的请 求压力，提高响应性能。 4本文的研究思路与框架 本文通过分析现有各种数据缓存技术 ，对其归纳、总结，列出分类及其 特点，形成较为完善的有关数据缓存技术的理论 。并在此基础之上，提出基 于 c a c h e 网络的数据缓存技术，并就有关的 一 致性问题、c a c h e 管理问题、 预取技术和路 由等相关问题展开讨论，提 出解决方案。最后对本缓存模型进 行性能分析 ，表明它可以达到均衡网络负载，减少数据传输时间，加快数据 检索速度的日标，如图 l 一 。 ( 1 ) 本 ,l 文将在第一章对 c a c h e的概念、特点及各种数据检索技术的发 展和研究意义进行阐述。 ( 2 ) 在第二章中，采用类比的方法对日前已存在的各种数据缓存技术进 行分析，对其归纳和总结，汇总出它们各 自的特 点及其不足之处。然后通过 分析 ，提 出改进 的方法，为本论文的研究内容作出铺i , 和准备。 ( 3 ) 在第三章中，是本论文的重点，在总结各种数据缓存技术的基础上 提出一种新的缓存系统模型，即基于 c a c h e网络的数据缓存技术 。具体阐 述其系统模型和工作原理，以及涉及到的一些算法。 ( 4 ) 在给出了本缓存系统模型后，还应讨论本缓存系统模型相关问题。 第四章将详细论述这些问题，并给 出相应 的解决方案。这些相关问题包括 : 缓存系统的数据一 致性问题、数据缓存区的管理机制、路 由策略、预取技术 等。除此之外，还应对缓存模型做出性能分析，表明木缓存系统的先进性， 因为缓存系统性能的好坏直接影响到这种方法或技术的成败。 ( 5 ) 为了更好地说明本缓存模型的实用性，将结合管理信息系统进行基 于缓存技术的应用研究。首先列出目前 巨 在使用一些诸如图书书 目管理、医 院病案管理、设备台帐管理等方面的管理信息系统所遇到的检索速度 方面 的 困难， 然后通过将本论文所述技术和这些传统检索技术比较，进而说明使用 本缓存系统后可以较为满意地实现用户的要求。最后，提出木 沦文所提方法 第 1章绪论 的不足之处，并应在虚拟数据缓存和多级数据缓存技术等方面进行进一步的 研究。 理 论 基 础 研 究 现 状 分 析 幕于 ca c h e网络数据缓存 技术的体系结构 结论 : 通过建立 ca c h e网络， 平衡网络负载 提高数据 响 应 速 度 相 关 问 题 分 析 备 c ach 。 的 管 理 和 。 换 算 法 c ach e 的 预 取 技 术 4。 究 ca c h e的性能分析 基于 ca c h e网络缓存技术的应用研究 图1 - 1本文的研究框架 一 6 - 第 z 章 理论基础和研究现状 第 2 章理论基础和研 究现状 缓存技术和数据检索技术是两种重要的计算机技术，而且两者起步都比 较早，发展迅速。缓存技术是在计算机系统的各部分之间设置缓存区，起到 缓冲的作用，以此来缓解存在于各接口间的 v 0矛盾，进而大幅度提高系统 性能 。数据检索是利用相关的检索工具或检索系统查询有关数据，以获得某 一问题量化的准确数值 1 4 2 . 1改善数据检索的方法 应 当说，现阶段对数据检索技术和缓存技术的研究范围很广，而且更趋 于全面 、深入 ，涉及到宏观、微观多个层次 ，并且逐步 由理论走 向实际应 用，研究方法逐渐深化。 2 . 1 . 1传统 方法 提高数据检索的方法有许 多种。依据思考角度不同，大致有以下几类 : ( 1 ) 数据库管理系统( d b ms ) 的开发商从 d b ms内部引入新的索引技术 和方法，改善数据库检索性能。 ( 2 ) 开发人员利用程序技巧达到提高检索速度的目的，但有时这种方法 收效甚微， 无济于 事。 ( 3 ) 从提升服务器和客户机的硬件性能入手，还包括升级网络带宽，加 快数据传输速度来实现缩短检索时间。但这些方法只是考虑了问题的一个方 面 ，有时性能的提高需要从整体考虑，单纯地提高整体 中的某一个部分，对 系统的 整体 性能改 变不大， 只能 事 倍功 半 弓 “ 1 。 以上简单列举了一些方法，这些方法虽然对提高数据检索速度有一定的 作用，但改善程度有限，小能达到最终目的，并 巨还造成某些资源的闲置和 浪费。如某些企事业单位在本身经费紧张的情况下购买 了硬件， 本想借此提 高应用效率， 但没有准确考证系统瓶颈所在， 反而事与愿违， 达不到提 高性能 的日的。 第2 章 理论基础和研究现状 2 . 1 . 2 缓冲方法 传统的存取体系都是存储设备通过诸如 i d e / s c s i 等 i / o总线与服务器 相连 。客户机的数据访问必须通过服务器 ，然后经过其 i / o总线访问相应的 存储设备，服务器实际上起到一种存储转发的作用，其结构如图2 - i o 网 络 服 务 器 cs 网络接 u s ql 命令处理和优化 事务处理 与并发控制 系统缓存管理 数据库uo 图2 - 1标准的客户机阴a 务器结构 这种结构的主要缺点是: ( 1 ) 客户机访问的所有数据都要通过数据库服务器存储转发，严重占 用 了服务器的内存 、c p u和 i / o总线等系统资源 ，并产生了严重 i / o瓶颈。 ( 2 ) 这种结构可扩展性差，其扩充网络存储容量的方法是为服务器增加 更新 、更快速的盘 ，响应时间变长，复杂性、维护及管理负载增加 。 ( 3 ) 每一项服务都需共享内存、c p u 和总线等系统资源，当客户增多 时，必然造成对服务器资源 的掠夺 ，严重影响服务器的功能。 如果在客户机与服务器之间加入数据缓存区，作为中间 层，对客户端的 访问请求起缓冲作用，将会减少对服务器的请求次数和压力 1 7 1 其引进数 据缓存区后的结构如图 2 - 2 ，具体分析如下: 衡量数据服务质量的一个重要标准，就是访问远程数据所花费的时间， 这里我们称之为检索时间，尤其当网络带宽不够 时，这项指标尤为重要。检 索时间 t卞要由 4部分时间决定: 第2 章 理论基础和研究现状 网 络 月 任 务 器 c / s网络接 口 s ol命令处理和优化 事务处理与并发控制 系 统 缓 存 管 理 数据库 1 / o 图2 - 2 带缓存的客户机/ 服务器结构 ( 1 ) 用户请求到服务器的传输时间; ( 2 ) 服务器处理请求 的时间; ( 3 ) 服务器的答复到用户端的传送时间; ( 4 ) 用户端计算机处理答复的时问。 其中，( 2 ) , ( 4 ) 部分主要取决于服务器和客户机的硬件配置、用户的请 求类型、服务器的负载情况等。 ( 1 ) , ( 3 ) 部分合起来可认为是往返延迟，主要可分为两个部分，一部分 相对固定，主要是传送路程中的传播时间。另一部分的可变性较大 ，包括数 据在服务器中排队等待、处理等时间。要避免大的往返延迟，最有效的方法 就是增加 网络带宽，控制发入网络的数据量。前一种方法主要依赖对整个网 络环境的改造，实施较困难，后一种方法可以通过不同的途径来实现，例 如，减少发往服务器的用户请求。这种方法虽不能真正减少实际的检索时间 t，但却可以缩短用户直观感觉上的检索时间，从而满足用户要求 ，我们把 这种用户直观感觉上 的检索时间表示成 t o 缩短 t 最典型的手段就是使用缓存。基于客户端访 问模式的检索往往 具有 “ 短期局部性” ，或者说 “ 短期近似性 ” ，就是在 一段时间内，用户提交 的访问请求中前后出现相同请求的概率 比较高，这种 “ 短期局部性 ”为我们 第 2 章 理论基础和研究现状 设置缓存机制提供 了事实根据 ，根据 m. a b r a ms的测量 ，缓存引入后 明显 地降低了网络的负载 “ 。 一个精心设计的缓存模型将会极大地降低 网络 负载，缩短用户直观感觉 上的检索时间 t ，提高数据服务质量。目 前存在的缓存模型有多种，大致 可以分为客户端、集 中式和分布式三类，其 目的相同，都是为了减少网络双 方交互的次数和收发数据的时i a ! 、减少终端用户的延迟和服务器的负载 ，提 高网络和系统的性能和数据检索的效率。由于客户端、代理、服务器的功能 不同导致了它们对 c a c h e 的大小、方式要求存在一定的差异。 2 . 2 c a c h e技术 c a c h e技术是 一 种非常关键的计算机技术 ，它对计算机的普及和推广起 到了巨大的推动作用。 日前在该领域的研究非常多。 2 .2 . 1缓存技术概述 c a c h e技术是以高速缓存为主的技术 ，它是为了解决计算机系统内各部 分之间的接口速率不一致 问题。这种不一致不仅存在于硬件系统中，也存在 于软件系统中，在近儿年突飞猛进的网络应用中尤为突出，这种矛盾将会导 致系统性能降低，网络带宽减少，影响系统的正常发挥。可以说 c a c h e技 术正是为解决这种矛盾而产生的。ca c h e技术是一种能够减少时延、节省带 宽和降低服务器负载的有效方法 。它可以在矛盾之间搭建一个桥梁，起到缓 冲的作用。 目 前 c a c h e技术发展得非常快，应用领域非常广，涉及程度也非常 深 。在 c a c h e 技术的研 究领域，依据 c a c h e 技术的应用领域不同， 主要有存 储器 c a c h e技术、磁盘 c a c h e 技术、www 服务器的 c a c h e 技术 以及数据 缓存技术等几种。其中，存储器 c a c h 。 技术主要是用于 c p u和主存之间， 缓解 c p u和主存的 i / o之间的传输速率不匹配。 磁盘 c a c h e 技术是在内存 与外存系统之间使用缓存技术 ，目的是提高它们之间的数据交换速度，减小 外部存储器存取速度慢带来的影响。www 服务器的 c a c h e技术是随着 i n t e r n e t的发展而产生的，网络资源非常丰富，用户访问数据量大，但网络 带宽有限，网络 资源 匿乏 ，用户访 问速度难以忍受 ，在代理服务器上安装 c a c h e系统会缩短用户的访问时间。最后，我们所 说的数据缓存技术是为数 据库 设置大容量的缓存区，用于缓冲用户对数据库的访 问请求 ，缓解对服务 器访 问的 i / o 压 力，数据缓存技术的主要应用领域应是基于客户机/ 服务器 第 2 章 理论基础和研究现状 设置缓存机制提供 了事实根据 ，根据 m. a b r a ms的测量 ，缓存引入后 明显 地降低了网络的负载 “ 。 一个精心设计的缓存模型将会极大地降低 网络 负载，缩短用户直观感觉 上的检索时间 t ，提高数据服务质量。目 前存在的缓存模型有多种，大致 可以分为客户端、集 中式和分布式三类，其 目的相同，都是为了减少网络双 方交互的次数和收发数据的时i a ! 、减少终端用户的延迟和服务器的负载 ，提 高网络和系统的性能和数据检索的效率。由于客户端、代理、服务器的功能 不同导致了它们对 c a c h e 的大小、方式要求存在一定的差异。 2 . 2 c a c h e技术 c a c h e技术是 一 种非常关键的计算机技术 ，它对计算机的普及和推广起 到了巨大的推动作用。 日前在该领域的研究非常多。 2 .2 . 1缓存技术概述 c a c h e技术是以高速缓存为主的技术 ，它是为了解决计算机系统内各部 分之间的接口速率不一致 问题。这种不一致不仅存在于硬件系统中，也存在 于软件系统中，在近儿年突飞猛进的网络应用中尤为突出，这种矛盾将会导 致