网络数据管理.ppt

第9章网络数据管理 9 1网络数据库的并发控制9 2网络数据库的安全机制9 3网络数据库的访问控制9 4网络数据存储9 5网络环境下数据备份与恢复9 6Web数据管理 9 1网络数据库的并发控制 9 1 1事务9 1 2并发控制的必要性9 1 3基于锁的并发控制技术9 1 4其它并发控制技术 9 1 1事务 并发控制是指在网络环境下对数据库的并发操作进行规范的机制 并发控制的作用主要是协调同一时间访问同一数据库文件的多个事务之间的关系 防止这些事务之间发生冲突 事务 Transaction 是数据库的逻辑工作单元 它是一组对数据的操作序列 事务是并发控制的基本单位 事务具有以下四个基本特性 原子性一致性隔离性持续性 9 1 2并发控制的必要性 数据库并发操作导致数据不一致性的三种情况 1 丢失更新当两个事务T1和T2读入同一数据 并发执行修改操作时 T2把T1或T1把T2的修改结果覆盖掉 造成了数据的丢失更新 LostUpdate 问题 导致数据的不一致 它是由于两个事务对同一数据并发写入引起的 称为写 写冲突 9 1 2并发控制的必要性 2 脏读事务T2读取了T1更新后的数据R 其后T1由于某种原因撤销修改 数据R恢复原值 导致T2得到的数据与数据库的内容不一致 这种由于一个事务读取另一个更新事务尚未提交的数据引起的不一致问题 被称为脏读 DirtyRead 3 不可重读事务T1读取数据R后 T2读取并更新了R 当T1再次读取R时 得到的两次读取值不一致 这种现象被称为不可重读 UnrepeatableRead 9 1 3基于锁的并发控制技术 基于锁的并发控制是事务对数据操作前必须获得对该数据的锁 完成操作后在适当时候释放锁 而得不到锁的事务处于等待状态 锁是数据项上的并发控制标志 它有两种类型 共享锁 SharedLock 简称S锁 排它锁 ExclusiveLock 简称X锁 9 1 3基于锁的并发控制技术 1 封锁协议系统中的事务在加锁和释放锁时 都必须遵守一组规则 这组规则称为封锁协议 一级封锁协议一级封锁协议是事务在修改数据R之前必须对其加X锁 直到事务结束 如果未能获得X锁 则该事务进入等待状态 直至获得X锁才能执行 二级封锁协议二级封锁协议是在一级封锁协议的基础上 规定事务在读取数据R之前必须对其加S锁 读完后释放S锁 9 1 3基于锁的并发控制技术 三级封锁协议三级封锁协议是在一级封锁协议的基础上 规定事务在读取数据R之前必须对其加S锁 读完后并不释放S锁 直到整个事务结束后才释放 2 封锁粒度封锁粒度是指封锁的数据对象的大小 封锁粒度与系统的并发度和并发控制的开销密切相关 封锁粒度越小 并发度越高 并发控制的系统开销也就越大 反之 封锁粒度越大 并发度越低 并发控制的系统开销也就越小 9 1 3基于锁的并发控制技术 3 死锁如果一个事务申请锁未成功 则须等待其它事务释放锁 这就形成了事务之间的等待关系 当事务中出现循环等待时 如果不加干预 就会一直等待下去 这种状态称为死锁 1 死锁的检测和处理死锁检测的方法一般有以下两种 超时法等待图法 9 1 3基于锁的并发控制技术 数据库管理系统对死锁一般采用如下策略 在循环等待的事务中 选择一个事务作为牺牲者 给其他事务 让路 回滚牺牲的事务 释放其获得的锁即其他资源 将释放的锁让给等待它的事务 选取牺牲事务的方法有以下几种 选择最迟交付的事务作为牺牲者 选择获得锁最少的事务作为牺牲者 选择回滚代价最小的事务作为牺牲者 9 1 3基于锁的并发控制技术 2 死锁的预防数据库系统中预防死锁常用的方法有以下两种 一次加锁法一次加锁法是在事务执行前 对要使用的所有数据对象一次加锁并要求加锁成功 只要一个加锁不成功 即表示本次加锁失败 立即释放所有加锁成功的数据对象 然后重新开始加锁 顺序加锁法顺序加锁法是对所有可能封锁的数据对象按序编号 规定一个加锁顺序 每个事务都按此顺序加锁 释放时则按逆序进行 9 1 4其它并发控制技术 1 基于时间戳的并发控制技术为了区别事务开始执行的先后 每个事务在开始执行时 都由系统赋予一个唯一的 随时间增长的整数 称为时间戳 TS TimeStamp 基于时间戳的并发控制是按时间戳的顺序对冲突进行处理 使一组事务的交叉执行等价于一个由时间戳确定的串行序列 其目的是保证冲突的读操作和写操作按照时间戳的顺序执行 9 1 4其它并发控制技术 基于时间戳的并发控制遵循以下准则 事务开始时 赋予事务一个时间戳 事务的每个读操作或写操作都带有该事务的时间戳 对每个数据项R 最后一次读该数据项的时间戳值为RTM R 最后一次写该数据项的时间戳值为WTM R 当事务对数据项R请求读操作时 设该读操作的时间戳为TS 如果TS WTM R 则拒绝该读操作 事务回滚 并用新的时间戳重新启动该事务 否则执行读操作 若原RTM R TS 更新RTM R 为TS 当事务对数据项R请求写操作时 设该写操作的时间戳为TS 如果TS RTM R 或TS WTM R 则拒绝该写操作 事务回滚 并用新的时间戳重新启动该事务 否则执行写操作并把WTM R 置成TS 9 1 4其它并发控制技术 2 基于版本的并发控制技术基于版本的并发控制方法是将版本管理引入到数据库应用中 数据库版本是数据库的一个视图 它反映了数据库在某种情况下的数据存储情况 多用户版本是指同一数据库在一次完整的设计过程中 对不同用户及同一用户在此过程中的不同时刻的多个数据视图 在应用开始时 每个应用将初始数据读至自己的工作区 形成该任务的初始版本 在任务的执行过程中 每一应用在自己的工作区内对数据进行操作 利用版本来记录每次操作的结果 由于操作是在各自的工作区内完成 所以可以并行进行 互不干扰 各任务结束后 将各任务的最终版本进行合并 9 1 4其它并发控制技术 3 基于事务类的并发控制技术利用存储过程来访问数据库 假设每个存储过程属于一个互不相交的冲突类 一个冲突类里的过程仅存取数据库中的某一特定部分 而不同的冲突类则工作在数据库的不同部分 对每一个冲突类C均存在一个先进先出 FIFO FirstInFirstOut 的类队列 CQ ClassQueue 当一个事务T开始且T C T被加入到CQ中 若T是队列CQ中唯一的事务 则T将被提交给数据管理器去执行 若在队列CQ中还有其它的事务 则T等待 当一个事务成为队列中的第一个事务并提交后 则从相应的队列中移出该事务 队列中下一个在等待的事务被提交执行 9 2网络数据库的安全机制 9 2 1安全性控制的方法9 2 2Oracle数据库的安全机制简介 9 2 1安全性控制的方法 数据库的安全性是指保护数据库以防止非法使用所造成的数据泄密 更改或破坏 安全性控制是指要尽可能地杜绝有可能的数据库非法访问 常用的安全措施有用户标识和鉴别 用户存取权限控制 定义视图 数据加密 安全审计以及事务管理和故障恢复等几类 1 用户标识和鉴别利用只有用户知道的信息鉴别用户利用只有用户具有的物品鉴别用户利用用户的个人特征鉴别用户 9 2 1安全性控制的方法 2 用户存取权限控制用户存取权限是指不同的用户对于不同的数据对象有不同的操作权限 存取权限由两个要素组成 数据对象和操作类型 定义一个用户的存取权限就是要定义这个用户可以在哪些数据对象上进行哪些类型的操作 3 定义视图为不同的用户定义不同的视图 可以限制用户的访问范围 通过视图机制把需要保密的数据对无权存取这些数据的用户隐藏起来 可以对数据库提供一定程度的安全保护 9 2 1安全性控制的方法 4 数据加密数据加密是保护数据在存储和传递过程中不被窃取或修改的有效手段 数据加密技术在8 3节中已有详细介绍 5 安全审计安全审计是一种监视措施 对于某些高度敏感的保密数据 系统跟踪记录有关这些数据的访问活动 并将跟踪的结果记录在审计日志中 根据这些数据可对潜在的窃密企图进行事后分析和调查 9 2 1安全性控制的方法 6 事务管理和故障恢复事务管理和故障恢复主要是对付系统内发生的自然因素故障 保证数据和事务的一致性和完整性 故障恢复的主要措施是进行日志记录和数据复制 在网络数据库系统中 分布事务首先要分解为多个子事务到各个站点上去执行 各个服务器之间采取合理的算法进行分布式并发控制和提交 以保证事务的完整性 事务运行的每一步结果都记录在系统日志文件中 并且对重要数据进行复制 发生故障时根据日志文件利用数据副本准确地完成事务的恢复 9 2 2Oracle数据库的安全机制简介 Oracle主要提供用户标识和鉴别 授权与检查 审计等系统级的安全性措施以及通过触发器灵活定义的用户级安全性措施 1 Oracle的用户标识和鉴别Oracle系统预定义了SYS和SYSTEM两个用户 其他用户都要使用CREATEUSER语句建立 用户的口令通过加密后存储在数据字典中 9 2 2Oracle数据库的安全机制简介 2 Oracle的授权与检查机制Oracle系统的权限包括系统权限和对象权限两类 Oracle将授权信息记录在数据字典的授权表中 3 Oracle的审计技术在Oracle中 审计分为语句审计 特权审计和模式对象审计 4 用户定义的安全性措施Oracle还允许用户使用数据库触发器定义更复杂的用户级安全性措施 触发器定义后 也存放在数据字典中 9 3网络数据库的访问控制 9 3 1网络数据库访问控制方式9 3 2Oracle数据库访问控制简介 9 3 1网络数据库访问控制方式 访问控制是通过某种途径显式地准许或限制访问能力及范围的一种方法 访问控制的目的是使用户只能进行经过授权的相关数据库操作 访问控制系统一般包括 主体客体安全访问政策 9 3 1网络数据库访问控制方式 访问控制方式有自主访问控制 DAC DiscretionaryAccessControl 强制访问控制 MAC MandatoryAccessControl 和基于角色访问控制 RBAC Role BasedAccessControl 1 自主访问控制其基本思想是允许某个主体显式地控制其他主体对其自身所拥有信息资源的访问 指定其他主体是否可以访问以及可执行的访问类型 信息在移动过程中其访问权限关系会被改变 如用户A可将其对目标O的访问权限传递给用户B 从而使对O没有访问权限的B可以访问O 9 3 1网络数据库访问控制方式 2 强制访问控制MAC给每个访问主体和客体分级 指定其信任度 MAC通过比较主体和客体的信任度来决定一个主体能否访问某个客体 具体遵循以下两条规则 下读 仅当主体的信任度大于或等于客体的信任度时 主体才能对客体进行读操作 上写 仅当主体的信任度小于或等于客体的信任度时 主体才能对客体进行写操作 9 3 1网络数据库访问控制方式 3 基于角色访问控制所谓 角色 就是一个或一群用户在组织内可执行的操作的集合 RBAC根据用户在组织内所处的角色进行访问授权与控制 只有系统管理员有权定义和分配角色 用户与客体无直接联系 只有通过角色才享有该角色所对应的权限 从而访问相应的客体 9 3 1网络数据库访问控制方式 RBAC的特点 以角色作为访问控制的主体角色继承最小权限原则职责分离角色容量 9 3 2Oracle数据库访问控制简介 Oracle系统的安全性管理采用了基于角色的访问控制方法 安全性管理采用了基于角色的访问控制方法Oracle提供了三种标准角色 CONNECTRESOURCEDBA 9 3 2Oracle数据库访问控制简介 在实际应用中 我们采用 根据应用系统特点 建立几个核心用户 将表 视图 存储过程 触发器 序号生成器等数据库对象建立在相应的核心用户中 根据系统用户的特点 建立各种类型的角色 并将核心用户中的数据库对象的相应权限授予相应角色 建立一个通用用户默认角色 该角色只有CONNECT权限 将该角色授予任一角色 并设置成默认角色 在每次与数据库中断连接之前 屏蔽其他角色 只有该角色有效 在与数据库连接后 只有该角色有效 其后根据用户的需要 在应用程序中设置其他角色有效 9 4网络数据存储 9 4 1网络数据存储设备9 4 2网络数据存储方式 9 4 1网络数据存储设备 目前 在网络系统存储备份设备中 应用广泛的是 磁带磁带库磁盘阵列光盘光盘塔光盘库 9 4 2网络数据存储方式 1 直接连接存储直接连接存储 DAS DirectAttachedStorage 是数据存储领域产生最早 发展时间最长的传统数据存储方式 直接连接存储是将磁盘存储设备直接通过电缆连接到服务器的方式 它主要应用于单机或两台主机的集群环境中 主要优点是存储容量扩展简单 投入成本少 见效快 9 4 2网络数据存储方式 直接连接存储模式存在诸多弊端 存储设备只能与一台服务器直接连接 只由这台服务器使用 用户要备份数据和存储数据 都要占用服务器CPU的时间 从而降低了服务器的管理效能 随着服务器的增多 数据管理会越来越复杂 工作量不断增加 如果增加存储设备 扩展存储容量 需要对服务器进行重新配置 这样做容易中断业务连接性 造成数据丢失 9 4 2网络数据存储方式 2 网络连接存储网络连接存储 NAS NetworkAttachedStorage 是一种基于局域网的 在存储设备端提供基于网络访问的文件级服务的网络存储技术 其体系结构如图9 1所示 图中 RAID RedundantArrayofInexpensiveDisk 是廉价磁盘冗余阵列 此外也可根据需要采用前述其它存储设备 图9 1NAS体系结构 9 4 2网络数据存储方式 NAS存储方式具有如下特点 可附加大容量存储 内嵌操作系统 仅仅提供存储服务 降低了存储设备的成本 特别适合于处理来自网络的I O请求 不仅响应速度快 而且数据传输速率也很高 可以提供完全跨平台文件混合存储功能 其安装简便 友好的图形管理界面以及在线扩容能力 大大方便了网络管理人员的工作 9 4 2网络数据存储方式 3 存储区域网络存储区域网络 SAN StorageAreaNetwork 位于服务器后端 为连接服务器 存储设备而建立起一个专用数据网络 提供数据存储服务 其体系结构如图9 2所示 图9 2SAN体系结构 SAN特别适合于服务器集群 灾难恢复等大数据量传输的领域 9 4 2网络数据存储方式 4 基于IP的网络存储技术目前基于IP的存储网络的核心技术是iSCSI IPSmallComputerSystemInterface 这是一种开放协议 其基本结构是在SCSI的数据包上加入TCP IP协议 IP存储网络结合了NAS和SAN两者的优点 一方面它采用TCP IP作为网络协议 使得它具有NAS易于访问的特点 另一方面它又有独立专用的存储网络结构 基于IP的存储网络可以使用以太网技术和设备来构建专用的存储网络 9 4 2网络数据存储方式 此外 基于IP的网络存储还具有以下优点 由于IP及以太网的技术和产品容易得到 从而可以大大降低用于建立和管理基于IP存储网的设备和人员的费用 由于以太网的速度比光纤通道的速度提升得快 基于IP存储网的性能必然也会快速提高 由于IP技术没有距离限制 而且可以同时支持SAN LAN WAN 所以基于IP存储网可支持远距离备份和恢复 光纤通道与IP交换机间的互连可以解决互操作性方面的问题 9 4 2网络数据存储方式 现阶段基于IP的网络存储主要缺点在于 目前基于IP的存储网技术还没有成熟的工业标准 都处于讨论阶段 虽然基于IP的存储网主要用于广域网环境 但也应该考虑端到端基于IP的SAN的应用 因此必须在IP路由器上提供光纤通道到10G的桥接转换 这是一个不小的负担 9 4 2网络数据存储方式 5 网络存储与传统存储的比较存储系统的独立性数据共享的难易程度高速的数据传输更大的存储容量中心化数据管理多种多样的存储介质 9 5网络环境下数据备份与恢复 9 5 1网络数据备份9 5 2数据恢复 9 5 1网络数据备份 1 网络数据备份网络备份是指在网络环境下 通过数据存储管理软件 结合相应的硬件和存储设备 对全网络的数据备份进行集中管理 从而实现自动化的备份 文件归档 数据分级存储以及灾难恢复等 其工作原理是在网络上选择一台应用服务器 安装网络数据存储管理服务器端软件 作为整个网络的备份服务器 在备份服务器上连接大容量的存储设备 在网络中其它需要进行数据备份管理的服务器上安装备份客户端软件 通过网络将数据集中备份到存储设备上 9 5 1网络数据备份 网络系统数据备份与普通数据备份的区别 它不仅要备份系统中的数据 还要备份网络中安装的应用程序 数据库系统 用户设置 系统参数等 以便在系统或网络发生故障时能迅速恢复整个网络 理想的网络备份系统应该具备以下功能 集中式管理备份任务管理文件备份与恢复数据库备份和恢复系统灾难恢复病毒防护 9 5 1网络数据备份 2 备份策略完全备份完全备份是对整个系统进行完整的备份 包括系统和数据 优点 只用一个备份副本就可以恢复丢失的数据 缺点 一是备份的数据大量重复 二是备份的数据量较大 因而备份使用的存储空间较大 所需时间较长 9 5 1网络数据备份 增量备份增量备份是备份上一次备份后新增加和修改的数据 这种备份策略但是当灾难发生时 数据的恢复步骤较复杂 这也使得它可靠性较差 任何一个增量备份副本出现问题都会导致整个恢复工作失败 优点 节省磁带空间 缩短备份时间 缺点 数据的恢复步骤较复杂 可靠性较差 任何一个增量备份副本出现问题都会导致整个恢复工作失败 9 5 1网络数据备份 差分备份差分备份是备份上一次完全备份之后新增加和修改的数据 优点 所需时间短 节省磁盘空间 灾难恢复方便 只需要完全备份与最新的差分备份两个副本 就可以将系统恢复 在实际应用中 备份策略通常是以上三种的结合 例如每周一至周六进行一次增量备份或差分备份 每周日 每月底和每年底进行一次全备份 9 5 1网络数据备份 3 备份方案设计数据备份方案一般包括如下若干步骤 研究网络中的数据存储环境 了解存储空间的空余程度 并考虑重要数据的备份及安全性措施 对网络系统中若干个重要数据存储点的数据安全性进行风险评估 排出风险大小顺序 对数据备份提出实施方案 数据被破坏后的恢复规划 重要的数据要建立数据备份和恢复机制 还要有一套数据恢复的演习计划 9 5 2数据恢复 系统应具有检测故障并把数据从错误状态恢复到某一正确状态的能力 这就是数据恢复 1 恢复操作分类全盘恢复全盘恢复能把系统恢复到最后一次成功进行备份的状态 个别文件恢复个别文件恢复只需浏览备份数据目录 找到要恢复的文件 触发恢复功能 重定向恢复重定向恢复是将备份的文件恢复到另一个不同的位置或系统 而不是当初备份时所在的位置 9 5 2数据恢复 2 灾难恢复灾难恢复是指系统崩溃后 无需重新安装操作系统 直接通过备份副本完成系统的恢复 灾难恢复同普通数据恢复的最大区别在于 在整个系统都失效时 用灾难恢复措施能够迅速恢复系统 而普通数据恢复则不行 对于普通数据恢复 如果系统也发生了失效 在开始数据恢复之前 必须重新装入系统 9 6Web数据管理 9 6 1XML9 6 2Web数据存储9 6 3Web数据查询9 6 4Web信息集成9 6 5WebServices 9 6 1XML Web数据管理是指在Web环境下 对复杂信息的有效组织与集成 方便而准确的信息查询与发布 从技术上讲 Web数据管理融合了WWW技术 数据库技术 信息检索技术 移动计算技术 多媒体技术以及数据挖掘技术 可扩展标记语言 XML ExtensibleMarkupLanguage 是标准通用标记语言 SGML StandardGeneralizedMarkupLanguage 的子集 也是一种元语言 9 6 1XML 1 XML的组成XML技术主要包括三大模块结构组件 文档类型定义 DTD DocumentTypeDefinition 或XML模式 XMLSchema 可扩展样式语言 XSL ExtensibleStylesheetLanguage 可扩展链接语言 XLL ExtensibleLinkLanguage 还存在一些与XML有关的重要技术规范 文档对象模型 DOM DocumentObjectModel XML简单应用程序接口 SAX SimpleAPIforXML 等 9 6 1XML 文档类型定义DTD是一种用来定义有效文件结构的语言 它作为基本XML文件的语法 是XML语言的一部分 DTD可以定义元素的嵌套规则以及数据的基本类型 DTD一般包括标记声明或参数实体引用 有时还包括外部实体的ID 标记声明可以是元素类型声明 属性表声明 实体声明或符号声明 XMLSchemaXMLSchema为一类文档建立了一个模式 规范了文档中的标签和文本可能的组合形式 它不仅包括了DTD能实现的所有功能 而且它本身就是规范的XML文档 9 6 1XML 可扩展样式语言XSL本身便是XML的应用 共分为两部分 第一部分XSL转换工具 XSLT XSLTransformation 负责将XML文档转换为可浏览或可输出的格式 第二部分XSL格式对象 XSL FO XSL FormattedObject 提供大量的格式化命令 可用来配合印刷或屏幕显示 精确地设定外观样式 XLinkXML还存在引用和链接到其它的资源和文档的机制 这制就是XLink XLink可以实现使用HTML的基于URL超文本链接和定位可获得的任何功能 除此之外 它还支持以多个方向同时进行链接 在XLink中 任何XML元素都可以成为链接元素 9 6 1XML DOMDOM是基于树结构的程序访问以及维护HTML和XML文档的应用程序接口 它定义了表示和处理文档的接口和对象 这些接口和对象的语义 以及它们之间的关系 SAXSAX是一个XML的Java应用程序接口标准 Java应用程序可以使用支持SAX的XML解析器来接受解析事件 使用SAX比使用DOM要节省很多内存开销 但DOM提供了更丰富的程序接口 9 6 1XML 2 XML的特点开放性可扩展性交互性好语义性强简单通用半结构化 9 6 1XML 3 XML的应用XML的应用主要体现在以下四个方面 网络用户在两个或更多异质数据库之间进行通信的应用 需要把大部分处理从Web服务器转到客户端的应用 需要客户端将同样的数据以不同的浏览形式提供给不同的用户应用 需要智能Web代理根据个人用户的需要增减信息内容的应用 9 6 1XML 建立一个XML应用通常需要遵循以下主要步骤 选择或编写一个DTD或Schema 生成XML文档 解析XML文档 显示XML文档 举例讲解 9 6 2Web数据存储 目前 Web数据的存储方法主要有以下几种 使用基于文件系统的存储管理技术使用基于层次数据库的存储管理技术建立一个具有特定目的的存储半结构化数据的数据库系统使用基于关系数据库的存储管理技术使用基于面向对象数据库的存储管理技术 9 6 3Web数据查询 1 Web查询技术目前Web上的查询主要基于搜索引擎的关键词索引技术 但是 由于用户给出的查询关键词很难与所查文档精确匹配 检索效果不理想 因此 出现了一些新技术来从各方面改善信息查询的性能 主要包括 基于链接的相关度排序基于概念的检索技术基于相关度的反馈检索结果的联机聚类 9 6 3Web数据查询 2 Web查询语言 1 Web查询语言分类基于HTML的查询语言第1代Web查询语言第2代Web查询语言基于XML的查询语言单文档查询语言图形化查询语言多文档查询语言 9 6 3Web数据查询 2 Web查询语言的评价因素Web查询语言的目的是从Web文档中抽取信息 并对抽取出的信息进行重构 因此它