主机存储数据库培训课件

1、内容安排小型机技术简介存储技术简介Oracle数据库基础基于Excel的税收数据分析小型机技术简介小型机的特点与优势省局小型机资源IBM动态分区技术简介高可用性集群基本概念计算机分类PC机与PC服务器主要针对个人用户和部门级应用操作、维护简单，性价比高小型机高稳定性、高并发处理能力主要针对企业级应用大型机主要是指IBM Z系列主机完全封闭的系统极高的稳定性和并发处理能力巨型机（超级计算机）极高的运算能力主要应用于科学计算领域天河一号指标天河一号指标（2）什么是小型机？是相对于大型机的一个概念一般都是运行UNIX操作系统主要针对高并发、大数据量的高端服务器具有较高的稳定性、安全性和可靠性较为开放

2、的体系结构主流产品：IBM p 系列HP 9000系列SUN SPARC系列小型机的特点与优势强大的性能单机可支持到64到128颗CPU海量的内存极大的I/O扩展能力高并发处理能力小型机的特点与优势极高的稳定性和安全性硬件冗余热插拔与热更换技术稳定的操作系统HACMP良好的服务支持省局小型机资源HP Superdome24颗PA800 CPU24G内存4块内置硬盘4块网卡目前主要用作B/S架构应用的Weblogic服务器省局小型机资源IBM P59532颗Power5 CPU256G内存24块内置硬盘24块网卡目前主要用作各应用系统的数据库服务器IBM动态逻辑分区简介高可用性集群技术简介高可用

3、性的主要目标最大化系统可用性或正常运行时间掩盖或消除系统停机时间是错误恢复而不是容错最小化系统停机时间为什么需要高可用性越来越多的业务需要7X24不间断运行越来越多的关键性业务客户的信赖程度高可用性减少计划内和计划外的系统停机时间高可用集群的基本结构基本硬件要求：2-8个节点均运行HACMP需要共享磁盘可共享访问的TCP/IP网络一个或更多的非IP网络多个磁盘接口卡多个网络适配器多个TCP/IP网段HACMP Cascading模式切换前HACMP Cascading模式切换后HACMP Cascading模式重整HACMP Concurrent模式切换前HACMP Concurrent模式切

4、换后HACMP Concurrent模式重整存储技术简介存储技术的一些基本概念存储类型划分SAN存储简介SAN存储的优势影响服务器性能的关键因素微处理器内存网络系统吞吐能力微处理器的速度,内存,磁盘,磁带的容量以及网络交换机的性能都以每18到24个月翻一翻的速度增长系统吞吐能力必须与技术的不断发展相适应 (包括性能和距离两个方面)存储的形式电路存储RAM, ROMU盘，SD卡，CF卡固态硬盘磁存储软盘，磁带，硬盘光存储CD，VCD，DVD存储系统的3个指标可靠性数据是不可替代的财富提高途径：RAID，备份，容灾I/O性能存储性能的进步远落后于容量提高途径：单盘性能，CACHE，RAID容量提高

5、途径：单盘容量，RAIDRAID的含义RAID：Redundant Array of Inexpensive Disks (廉价冗余磁盘阵列) 在用户看起来，组成的磁盘组就像是一个硬盘，用户可以对它进行分区，格式化等等。总之，对磁盘阵列的操作与单个硬盘一模一样。不同的是，磁盘阵列的存储性能要比单个硬盘高很多，而且可以提供数据冗余RAID的技术起源20世纪80年代，单个硬盘存在的问题：容量小性能差可靠性差在高端应用中硬盘的矛盾显得尤为突出解决上述问题：1988年，加州Berkeley大学的学者们提出RAID技术RAID的技术优势数据安全性好：冗余技术保护数据安全可靠性好：冗余技术大大提高可靠性可

6、用性大大提高：冗余技术和数据恢复技术大大提高了系统的可用性大容量存储整合：将多块硬盘整合在一起，提高存储容量性能大大提高：多块硬盘并行读写大大提高系统性能RAID的常用级别RAID 0：条带化，无冗余，性能提高RAID 1：磁盘镜像，数据得到保护RAID 5：条带化+奇偶校验RAID 0+1：RAID0 + RAID1RAID 0 图解RAID 0的特点优势RAID 0是将数据条带化，按块，每个数据块分别写到不同的硬盘上读写数据操作时是将I/O分布在多通道和多块硬盘上，因此I/O性能大大改善没有奇偶校验计算开销设计非常简单、易于实现缺点没有容错性，不是一个“真正的”RAID一块硬盘故障导致所有

7、数据全部丢失绝不可应用在关键业务中推荐应用领域视频图像的制作和编辑 图形图象编辑 印前系统应用 需要高性能的其它应用 RAID 1RAID 1的特点优势每个镜像对中可能有一次写或两次读读操作率是单个硬盘的2倍，写操作率与单个硬盘相同100%的数据冗余意味着一个硬盘出现故障时不需数据重建，只需将数据拷贝到替换盘即可每块数据的传输率与单个硬盘的速度一样从某种意义讲，RAID 1可允许多块硬盘同时发生故障是RAID存储子系统中最容易设计的一种缺点是所有RAID类型中硬盘开销最多的一种 (100%的冗余) 存储效率最低通常在系统中用软件来实现（即软RAID），但要占用CPU和系统资源，从影响系统性能用

8、软件实现时，通常不支持硬盘热插拔推荐应用领域财务系统 金融领域 其它高可用性领域 操作系统RAID 5RAID 5的特点优势很好的读数据事务处理能力中等写数据事务处理能力存储利用率高读大文件时，传输率高缺点硬盘故障时对吞吐率有影响控制器设计很复杂硬盘故障时数据重建较困难推荐应用领域文件及应用服务器 视频服务器 WWW、E-mail和电子新闻服务器Intranet服务器其它大多数应用均可采用RAID 5对RAID5缺陷的深入分析写惩罚RAID5在写数据时，一般要经过“读、算、写”三个过程：读出老数据；读出校验数据；计算新校验数据；写新数据；写校验数据。因此，RAID5不适用于数据更新频繁的环境，

9、如数据库等。并发性与可靠性的矛盾 盘越多，并发能力越强，但可靠性越差，写惩罚越严重单盘故障时，性能严重下降 需要通过其他条带数据和校验数据生成所需数据，性能会严重下降，同时raid组重构会非常耗时RAID 0+1RAID 0+1 的特点优势具备最高的容错能力具备最好的性能某些情况下可以允许多块磁盘故障是性能与容错能力的最佳解决方案缺点昂贵，性价比最差推荐应用领域数据库服务器 存储产品的分类SAN NAS iSCSISAN主要是基于光纤通道的、面向数据块的存储，可以看成是传统总线的扩展。NAS是在TCP/IP协议基础上提供文件的存取服务。iSCSI则是前面两种技术在TCP/IP网络上的融合，通过

10、把面向数据块的SCSI协议封装在TCP/IP包中，以便在TCP/IP网络上传送DASDAS即直接连接存储，是指存储设备直接通过数据线连接到主机上。直连存储 DASDAS特别适合于对存储容量要求不高、服务器的数量很少的中小型局域网，其主要的优点在于存储容量扩展的实施非常简单，投入的成本少而见效快。 具体地讲，DAS问题主要有以下几点：（1）容易形成服务器到存储设备的瓶颈。 （2）影响数据的可用性。 （3）存储设备分散，不便于管理监控。 （4）容易造成存储空间浪费。 （5）对重要的数据进行备份时将会极大地占用网络的带宽。 存储区域网络 SAN SAN是英文Storage Area Network的

11、缩写，通常译为“存储区域网络”，它是一种在服务器和外部存储资源或独立的存储资源之间实现高速可靠访问的专用网络。 SAN 采用可扩展的网络拓扑结构连接服务器和存储设备，每个存储设备不隶属于任何一台服务器，所有的存储设备都可以在全部的网络服务器之间作为对等资源共享。SAN网络架构SAN的特性SAN更适合网络关键任务的数据存储，与其他存储技术相比，SAN具有以下特性： （1）高可用性 （2）高性能 （3）便于扩展 （4）可实现高效备份（ 5 ） 适合于海量数据、关键数据的存储备份（7）支持服务器的异构平台 （8）支持集中管理和远程管理（9）方案实施成本相对较高SAN的主要硬件（HBA卡）为服务器或客

12、户机内部总线(PCI和SBUS等)提供与光纤通道网络的接口HBA软件驱动为操作系统提供所须存储信息对I/O进行操作请求进行控制铜/光介质支持 (可能是双接口卡)SAN的主要硬件（交换机）连接多个端口 (8, 16, 32, 64, 128 口)支持交换Fabric和传统loop设备1Gbit/秒和8Gbit/秒传输速率(自适应)全双工性能, 使用cut-through路由算法交换机间提供8Gbit/秒逻辑干线合并拓扑结构自动协调, 自动配置 (自恢复)端到端性能监控SAN的主要硬件（存储设备）RAID 冗余独立磁盘阵列系统JBOD 磁盘组磁带 主要用于数据备份和恢复网络附加存储NAS NAS网

13、络附加存储，即将存储设备连接到现有的网络上，提供数据和文件服务。NAS服务器一般由存储硬件、操作系统以及其上的文件系统等几个部分组成。它基于TCP/IP协议实现文件级数据的存取服务。 NAS将存储设备通过标准的网络拓扑结构连接，可以无需服务器直接上网，不依赖通用的操作系统，而是采用一个面向用户设计的、专门用于数据存储的简化操作系统，内置了与网络连接所需的协议，因此使整个系统的管理和设置较为简单。 NAS的网络架构NAS的应用场合主要面向高效的文件共享任务，适用于那些需要网络进行大容量文件数据传输的场合。以IBM为代表的业界各大存储厂商纷纷推出NAS解决方案 NAS的特性（1）易于安装。 （2）

14、易于部署。 （3）方便使用和管理。 （4）整体性能高。 （5）跨平台使用。 （6）提高数据可用性。 （7）性能价格比优异。 NAS产品是真正即插即用的产品，内置专门用于数据存储的简化操作系统和网络协议，可以直接挂接到网络上。 用户可根据需要来确定NAS的物理位置，一般将其放置在访问频率最高的地方，以进一步缩短用户的访问时间并提高网络吞吐量。 客户不需安装任何额外软件，NAS服务器的设置、升级及管理均可通过Web浏览器远程实现。NAS服务器与网络直连，当增加或移去NAS设备时不会中断网络的运行。无需应用服务器的干预，NAS设备允许用户在网络上存取数据；这样既可减小CPU的开销，也能显著改善网络的

15、性能。NAS独立于操作系统平台，可以支持Windows、UNIX、Mac、Linux和Netware等不同操作系统。 采用磁盘阵列技术，NAS可保证硬件设备和数据的安全与完整。 通过网络共享数据，即使相应的应用服务器不再工作了，仍然可以读取数据。 采用嵌入式操作系统，具有很强的稳定性和可靠性。 网络管理员可方便地设置用户或用户组对NAS服务器的访问权限。NAS是精简型服务器，在硬件架构上只需CPU、内存、硬盘、网卡和主机板等。在软件方面，操作系统也是精简型系统，有些甚至是免费的Linux。NAS的缺点 （1）只适用于较小网络规模或者较低数据流量的网络数据备份。因为NAS仍使用应用网络进行备份和

16、恢复，LAN除了处理正常的最终用户传输流外，还必须处理包括备份的存储磁盘请求。 （2）投资成本较高（后期扩容成本高）而可靠度不高， 一般文件服务器没有高可用配置，存在单点故障Oracle数据库基础Oracle基本结构Oracle客户端配置与维护Oracle数据库调优数据备份与恢复Oracle结构视图PasswordfileInstanceSGARedo LogBufferShared PoolData DictionaryCacheLibraryCacheDBWRSMONPMONCKPTLGWROthersUserprocessServerprocessPGAControl filesData

17、files DatabaseDatabaseBuffer CacheRedo Log filesJava PoolLarge PoolParameterfileArchived Log filesOracle服务器一个Oracle服务器以一个提供了一套开放的、完整的、综合的信息管理方式的数据库管理系统由一个Oracle实例和一个Oracle数据库组成Oracle serverOracle实例一个Oracle实例：是访问Oracle数据库的一种方法总是打开一个并且仅仅一个数据库包括内存和进程结构Background process structuresMemory structuresInsta

18、nceSGARedo LogBufferShared PoolData DictionaryCacheLibraryCacheDBWRSMONPMONCKPTLGWROthersDatabaseBuffer CacheJava PoolLarge PoolOracle数据库一个Oracle数据库包括：是作为一个单元的数据集合有三种文件类型PasswordfileParameterfileArchived Log filesControl filesDatafiles Redo Log filesOracle Database数据存储的逻辑结构Oracle架构的逻辑结构描述了数据库的物理空间是如

19、何使用的在这个结构中存在一个这样的层次，它包括表空间、段、片和块TablespaceDatafileSegmentBlocksExtentSegmentOracle客户端配置方法配置工具：Net Manager启动方法开始-程序-oracle-Configuration and Migration Tools-Net Manager主要配置参数：Net服务名协议选择：TCP/IP主机名、端口号Oracle服务名防伪税控客户端的特殊配置配置防伪税控客户端时，可以同时配置两个IP地址：7一定要使用“服务名”fwsk，不可使用SID fwsk1或fwsk2可以利用Oracle RAC的特点，实现负载

20、均衡和故障转移Oracle客户端连接诊断诊断工具：tnsping诊断方法：进入命令行模式，tnsping “本地服务名”正常响应结果：常见故障分析及解决故障现象TNS-03505: Failed to resolve nameORA-12154 TNS: could not resolve service name原因分析及解决办法tnsping命令后的本地服务名拼写错误 解决：检查并重新tnsping注册表中指向Oracle服务的本地服务名输入错误配置Oracle客户端时，Net 服务名拼写错误 解决：检查Net Manager中本地服务名配置，如有错误，删除重配。常见故障分析及解决故障现象

21、TNS-12535: TNS: operation timed out原因分析及解决网络故障数据库服务器停机配置客户端时，服务器IP地址输入错误常见故障分析及解决故障现象TNS-12541: TNS: no listener原因分析及解决数据库服务器监听程序没有启动配置客户端时，监听端口输入错误Oracle调优的基本方法I/O调优内存调优SQL语句调优I/O调优采用高性能存储合理均衡磁盘负载，避免出现热点磁盘数据条带化数据与索引分离存储Redolog 分离存储采用裸设备、异步I/O优化I/O相关初始化参数 内存调优db_cache_size 尽量大，建议不超过内存总容量的1/2Pga_aggr

22、egate_target 尽量大，建议不超过内存总容量的1/3Log_buffer 1M到3Mshared_pool_size 200M到400M，不建议过大SGA总容量建议不超过内存的2/3初始化参数的修改方法使用SQL PLUS，以system用户登录；修改参数 SQL alter system set db_cache_size=800M scope=spfile; SQL alter system set pga_aggregate_target=400M scope=spfile; SQL alter system set log_buffer=1048576 scope=spfil

23、e; SQL alter system set shared_pool_size=300M scope=spfile;重启数据库SQL语句调优SQL语句执行计划的概念Oracle根据一定的规则，为sql语句所选择的一条最优执行路径。如何使用PL SQL Developer查看执行计划File-new-Explain Plan Window，输入SQL语句，点击“执行”；在SQL语句窗口，选择需要查看执行计划的语句，按“F5”快捷键如何判断执行计划是否异常COST（成本）是否过大？是否有对大表的全表扫描操作？ctais数据库中的一些常用大表序号表名行数存储量（G）1SB_ZZS_2003_FB5

24、179,098,89611.412SB_ZZS_2003_FB2167,438,02510.213SB_ZZS_2003_FB179,373,8796.564KJ_NSR_KMYE71,031,63712.025SB_ZZS_2003_FB652,245,4183.376KJ_JZPZDQ_NSR45,425,2907.877SB_ZSXX30,601,86316.908SB_SPXX30,224,78211.979WBJK_SB_ZZS_2003_FB521,158,1901.2910SB_SBXX20,831,5575.4511SB_YZCWSBQC20,182,4253.7512SB_Z

25、ZS_2003_FB16,925,4612.9613SB_ZZS_2003_YBNSR16,222,2994.7314WBJK_SB_ZZS_2003_FB215,557,8280.9515SB_CWBB_2005_ZCFZB15,084,4160.5916SB_GTDQDE_HZSB14,554,9533.0917BB_BBSJFB13,997,4551.7718SB_ZZS_XGMNSR_200513,108,0952.9419HD_GT_DEXXCJ_ZB11,541,0940.9420FP_YJ11,471,0212.25SQL语句调优不要对索引字段进行函数转换，例如：使用substr

26、提取税务机关代码错误的写法：substr(swjg_dm,1,7)=1341201正确的写法：swjg_dm like 13412%使用to_char转换日期型字段错误的写法：to_char(sbrq, yyyy/mm/dd)=2011/11/10正确的写法：sbrq = to_date(2011/11/10, yyyy/mm/dd)注意隐性字段类型转换swjg_dm = 134120100上述这些写法，将导致oracle无法使用索引，只能进行全表扫描SQL语句调优在下列情况下，Oracle会选择全表扫描缺少索引或索引失效表的数据量不大返回的结果集过大SQL语句调优合理使用索引索引能大幅度提高查询效率索引是自动维护、自动使用的并不仅仅针对SELECT语句索引会降低数据库写性能注意定期收集数据库统计信息创建索引的几个注意事项选择合适的索引字段