数据中心基础知识.ppt

数据中心基础知识,目录,IT基础架构,数据中心IT架构,客户面临的多重选择,1、数据库系统,2、操作系统,3、主机设备,4、系统连接设备,5、存储设备,6、备份设备 7、备份软件,架构基础知识,常见的数据库系统, Oracle在数据库领域一直处于领先地位，已成为世界上使用最广泛的关系数据系统。（Oracle数据库10g、11g） DB2是IBM公司的产品。 Sybase1986年成立,立足于在开放系统平台上研制具有Client/Server体系结构的数据库系统软件产品, 2010年5月13日,SAP并购sybase. SQL Server是Microsoft公司的一个关系数据库管理系统，只在Windows上运行，Microsoft这种专有策略的目标是将客户锁定到Windows环境中。(SQL Server 2008SQL Server 2012). MySQL是一个关系型数据库管理系统，由瑞典 MySQL AB公司开发，目前属于Oracle 公司, MySQL 是开源的，不需要支付额外的费用.,DB2, 基于CISC（复杂指令集）X86体系架构 1、采用AMD Opteron （皓龙） 、Intel Xeon、ARM微处理器等处理芯片； 2、通用开放的架构，主要支持标准的Windows和Linux操作系统。 3、也可支持流行的SCO Unix、Solaris For X86、FreeBSD等Unix操作系统。 4、代表厂商：HP、DELL、Lenovo（IBM）、华为、浪潮、曙光、宝德 基于专有的64位RISC（精简指令集）芯片体系架构 1、各厂商自己开发芯片和操作系统，各家产品互不兼容，也不兼容大量x86平台上的软件； 2、一般采用UNIX操作系统，称为小型机。 3、代表厂商：IBM、HP、Oracle(SUN)、Fujitsu、SGI,主机系统架构和厂商,操作系统的分类和比较, UNIX系列, 世界上应用最为广泛的一种多用户多任务操作系统。 Unix操作系统拥有很高的安全性、可靠性和专用服务器的高速运算能力； Solaris是Sun和FUJITSU的主机操作系统； HP-UNIX用于HP公司的主机； IBM是AIX, SGI公司的是IRIX； 其它还有SCO UNIX、FreeBSD等系统。,HP-UNIX,AIX,IRIX,操作系统的分类和比较,Windows系列 Windows server 20082012, 安全性、可靠性稍差； 操作界面的易用性、通用性、易开发性方面较好，应用软件丰富。, Linux是一种类Unix系统,具有许多Unix系统的功能和特点，能够兼容Unix。由芬兰赫尔辛基大学的一个学生首次编写。 最大特点是免费的、开放源代码的软件，可自由修改操作系统的内核程序。在安全性和稳定性方面也很有特色。 在Linux下运行的应用软件也相对较少，所以其暂不具有大众性，多用在一些高端的小型网络环境。,Mandrake,红旗,SUSE,Linux系列,PC-Server内部结构,处理器CPU 内存 阵列卡 硬盘 网卡 电源 风扇 主板 PCI插槽,X86服务器处理器分类,Intel至强处理器： 2路服务器：E5-2600 V3 4路服务器：E5-4600 V2、E7-4800 V2 8路服务器：E7-4800,AMD处理器： AMD Opteron 6300,系统连接设备交换机,光纤交换机：FC SAN 将整个光纤通道SAN中的服务器和存储设备连接起来； 内部为Fabric拓扑，每端口独占带宽； 目前主流端口为8Gb，主机上需要配置专业HBA卡； 主要厂商：Brocade、Cisco,以太网交换机：IP SAN 通过网线将服务器与存储连接起来。 采用ISCSI协议，目前主机大部分支持ISCSI，可以与主机网卡共用端口，不需要另配置专用卡； 目前主流端口为1Gb、10Gb； 主要厂商：Cisco、华为、H3C, FC HBA卡：光纤通道主机总线适配器的缩写，用于主机与FC设备的连接。 主要厂商： FC HBA卡使用的传输介质光缆和铜缆两种。,系统连接设备-FC HBA卡,系统连接设备iSCSI HBA, iSCSI主机总线适配器，将硬件iSCSI initiator集成到板卡上，利用TCP/IP卸载引擎在适配卡上完成数据包处理。 作用在于减轻主机CPU负载，也提供了高可用环境下硬件多通道功能和服务器远程引导功能； 大多数iSCSI HBA卡都具有TOE（TCP/IP Offload Engine）功能； 接口类型与以太网原有接口完全相同。,服务器高可用技术双机技术, 双机热备=主机+备机,磁盘阵列,主服务器,备份服务器,心跳线,LAN,双机软件,双机软件,服务器高可用技术双机技术, 双机热备援=主机（备机）+备机（主机）,磁盘阵列,主/备服务器,备/主服务器,心跳线,LAN,双机软件,双机软件,服务器高可用技术Cluster技术,主控节点,磁盘阵列,LAN,主控节点负责任务调配； 从节点共同执行任务； 节点之间负载均衡和故障接管； 专用的集群文件系统； 对存储系统的并发处理能力有较高要求。,从节点,服务器虚拟化,虚拟化前,虚拟化后,服务器虚拟化将硬件、操作系统和应用程序一同装入一个可迁移的虚拟机包中,软件必须与硬件相结合 每台机器上只有单一的操作系统镜像 每个操作系统只有一个应用程序负载,每台机器上有多个负载 软件相对于硬件独立,虚拟化的关键特征,兼容性,虚拟机完全兼容标准的X86操作系统，以及在这些操作系统之上建立的硬件驱动和应用,封装,虚拟机将整个系统，包括硬件配置、操作系以及应用等封装在文件里,虚拟化主要厂商：VMware vSphere、Microsoft Hyper-v、Citrix XenServer、Redhat KVM,存储基础知识,什么是存储？,存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。 包含两个方面的含义：1、它是数据 临时或长期驻留的物理媒介；2、它是保证数据完整安全存放的方式或行为。 存储就是把这两个方面结合起来，向客户提供一套数据存放解决方案。,EMC即易安信，行业大哥，产品与方案全面，市场营销做得好，全球排名第一的外部存储系统提供商； IBM：在全球存储市场一直比较稳定地排第3位，连续四年夺得大中华地区外部磁盘存储市场第一。特别在国内金融行业占有统治性地位。 HP：存储产品线完整，硬件规格齐全，软件功能丰富，由互相兼容的硬件和应用管理软件，可以组合成多种灵活的存储解决方案。 Dell：最早OEM EMC,最近几年加大对存储投入，收购存储品牌，中低端存储市场的主要厂商之一； HDS：从产品和技术上最有能力与EMC全面抗衡的存储厂商。但国内销售不温不火，日系厂商特点。 NetApp：以网络存储中的NAS领域为基础，向前融合SAN解决方案，达成其涵盖边缘和核心数据存储需求的整体解决方案提供能力。 Oracle/SUN:对存储产品的传统策略精简为：仍以主机系统为主，加大存储力度。SUN对存储产品线一直在宣传上保持低调，未单独将存储产品作为独立的重要产品线来运作。 Fujitsu：产品定位怪异，很有特色。但市场做得一般。 联想：OEM HDS和LSI，主要依靠服务器和PC带动销售； 浪潮：OEM EMC和DELL、与联想有些类似。 同有：自有品牌( OEM Infotrend)低端阵列，代理多家知名品牌存储产品。 台湾厂商：普安（Infotrend）、豪威、建联、技嘉、捷讯。,主要存储厂商,光学介质 - 光盘,磁性介质 -磁带,磁性介质 - 磁盘驱动器,固态介质 - 闪存卡&闪存盘,一次写，多次读,成本低，容量大，性能差，管理不便,容量大，支持快速随机访问,速度极快，容量小，价格高,存储介质分类,硬盘的主要指标,容量 指硬盘能存储的数据量大小，一字节为基础单位。 转速 即主轴马达转动速度，单位为RPM（Round Per Minute） 缓存 是硬盘控制器上的一块内存芯片，具有几块的存取速度，是硬盘内部盘片和外部接口之间的缓冲区 MTBF Mean Time Between Failure，平均无故障时间 硬盘类型及接口 ATA/IDE、SCSI、FC、SATA、SAS等,存储系统的物理组成,后端,缓存,存储网络,磁盘,前端,主机,前端 提供存储系统与主机之间的接口 高速缓存 为减少完成主机I/O请求所需时间，数据被暂存在缓存中 后端 提供了缓存和物理磁盘之间的接口 物理磁盘 连接到后端上，可以永久的保持数据,分级存储的存储方式,存储传输的硬件通道有三种： 通过以太网线连接 通过SCSI线缆连接 通过光纤线缆连接,iSCSI HBA Card,iSCSI 磁盘阵列,SCSI HBA Card,SCSI 磁盘阵列,FC HBA Card,FC磁盘阵列,以太网线,SCSI线缆,光纤线缆,主机,GE Card,传输通道,iSCSI协议的分层结构,FC协议的分层结构,iSCSI和FC协议层次比较,封闭系统的存储,开放系统的存储,内置存储,外挂存储,Direct-Attached Storage 直接式存储（DAS）,Fabric-Attached Storage 网络存储（FAS）,Network-Attached Storage 网络接入存储（NAS）,Storage Area Network 存储区域网络（SAN）,存储结构分类,DAS/SAN/NAS组网示意图,33,直接连接存储：存储设备是通过电缆（通常是SCSI接口电缆）直接连到服务器的。 I/O请求直接发送到存储设备,DAS（Direct Attachment Storage）,连接简单 集成在服务器内部；点到点的连接；距离短； 安装技术要求不高 低成本需求 SCSI总线成本低 较好的性能 通用的解决方案 DAS的投资低，绝大多数应用可以接受,DAS优势,有限的扩展性 SCSI总线的距离最大25米；最多15个设备 专属的连接 空间资源无法与其他服务器共享 备份和数据保护 备份到与服务器直连的磁带设备上 硬件失败将导致更高的恢复成本 TCO（总拥有成本高） 存储容量的加大导致管理成本上升 存储使用效率低,DAS劣势,DAS分析,35,应用 服务器,File I/O,IP协议,网络连接存储：存储设备连接到现有的网络上，提供数据和文件服务,NAS（Network Attachment Storage）,资源共享 构架于IP网络之上 部署简单 较好的扩展性 异构环境下的文件共享 易于管理 备份方案简单 低的TCO,NAS优势,扩展性有限 一些应用会占用带宽资源 不适应某些数据库的应用,NAS劣势,NAS的优势,37,应用 服务器,Block I/O,FCP协议,SAN,存储区域网络：它是一个用在服务器和存储资源之间的、专用的、高性能的网络体系。它为实现大量原始数据的传输而进行了专门的优化。,SAN（Storage Area Network）,实现存储介质的共享 非常好的扩展性 易于数据备份和恢复 实现备份磁带共享 LAN Free和Server Free 高性能 支持服务器群集技术 容灾手段 低的TCO,SAN优势,成本较高 需要专用的连接设备如FC交换机以及HBA SAN孤岛 技术较为复杂 需要专业的技术人员维护,SAN劣势,SAN的优势,三种形式的比较,可用性和停机时间,RAID是廉价冗余磁盘阵列(Redundant Array of Inexpensive Disks) 的简称,RAID,RAID0 ：Striped Disk Array without Fault Tolerance( 没有容错设计的条带磁盘阵列，以条带形式将RAID阵列的数据均匀分布在各个阵列中。 总容量=(磁盘数量)*(磁盘容量),RAID0,RAID0,RAID 1 ：以镜像作为冗余手段，虚拟磁盘中的数据有多个拷贝，放在成员磁盘上。 总容量=(磁盘数量 / 2)*(磁盘容量),RAID1,45,RAID1,RAID3 (条带分布+专用盘校验)：以xor校验为冗余方式，使用专门的磁盘存放校验数据， 虚拟磁盘上的数据块被分为更小的数据块并行传输到各个成员物理磁盘上 ，同时计算出xor校验数据存放到校验磁盘上。 总容量=(磁盘数量 -1)*(磁盘容量),RAID3,RAID5 (条带技术+分布式校验)：以XOR检验为冗余方式，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。 总容量=(磁盘数 -1)*(磁盘容量),RAID5,RAID5,RAID6 (条带技术+分布式校验)：带有两个独立分布式奇偶校验方案，校验数据均匀分布在各个数据磁盘上，对各个数据磁盘的访问为异步操作。 总容量=(磁盘数 -2)*(磁盘容量),RAID6,横向校验盘中P1P4为各个数据盘中横向数据的校验信息 例：P1=A1 XOR A2 XOR A3 XOR A4 斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP1=A1 XOR A6 XOR A11 XOR A16,50,RAID6,RAID10 ：将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。 总容量=(磁盘数量/ 2)*(磁盘容量),RAID10,RAID10,RAID50 ：将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5，第二级为RAID 0。 总容量=(磁盘数量-1)*(磁盘容量),RAID50,54,RAID50,常用RAID比较,56,所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。 热备盘分为：全局热备盘和局部热备盘 全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。 局部热备盘：只针对某一RAID组起作用。 因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。,热备（HotSpare）,数据复制,复制的定义：主要数据的一个复制被存储在辅助位置 本地复制 远程复制 复制可以通过以下技术实现： 基于阵列的硬件技术 基于主机的软件技术 基于应用层的复制技术 恢复点目标（RPO）： 异步（过程可以立即继续执行） 同步（必须收到回应才能继续） 可以使用以下功能实施复制： 本地镜像 快照 远程复制,基本概念： Base Volume ：快照源卷 Repository Volume ：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据 Snapshot Volume ：快照卷 某一个时间点的逻辑卷映像： 逻辑上相当于整个Base Volume的拷贝 可将Sanpshot Volume分配给任何一台主机 Snapshot Volume可读取、写入或拷贝 存储空间需求 需要相当于Base Volume 20%的额外空间 用途 文件、逻辑卷恢复 备份、测试、数据分析等,快照(snapshot),快照是特定数据集的一个完整可用拷贝，该数据集包含源数据在拷贝点的静态映象；快照可以是数据再现的一个副本或者复制。,克隆（Clones）,基本概念： 将一个逻辑卷（Source）上的内容完全物理上拷贝到另一个逻辑卷（Target） 拷贝过程中源卷只读，克隆卷不能被主机使用 同步完成后，对克隆卷进行分离，此时克隆卷可被主机使用，在分离是时间点，克隆卷和源卷数据完全一致。 用途 克隆卷可用来做数据挖掘、测试、备份等 重新分配数据，使性能和容量分配到达最优化 将数据迁移到更合适的磁盘上,备份,容灾与备份： 容灾与备份是数据保护领域的两个重要部分。 一个完整的容灾方案中必然包含备份。 备份的3种目的： 灾难恢复 业务性恢复 归档,备份备份粒度,全备份,增量备份,差异备份,备份备份目标,什么是数据备份？, 备份数据根本目的是数据恢复。能够快速、正确、方便地恢复数据，才是备份系统的真正价值所在。, 备份工作是系统的一个“额外负担”。备份系统的选择和优化工作至关重要。应该把能够以很低的系统资源占用率和很少的网络带宽，来进行自动而高速的数据备份为原则。, 备份在存储系统中的意义不仅在于防范意外事件的破坏，而且还是历史数据保存归档的主要方式。, 数据备份与数据拷贝不同，为降低备份数据所占用的额外空间，一般需要改变数据格式、进行压缩等操作，一般由专业的备份软件完成。, 数据库的备份与普通文件备份不同，需要通过应用插件与数据库协调，以保证备份数据的数据一致性和完整性。,备份窗口,备份窗口（Backup Window）是指每一天中能够用于数据备份的时间长度。 大多数时候，对数据库系统的备份需要停止数据库服务或降低数据库性能。因此，对于很多需要7X24或近似7X24在线运行的应用（金融、电信、网络服务等），每天允许进行数据备份的时间是有限的。 如何在数据量日益增长而备份窗口逐渐缩小的情况下，及时完成数据备份，是很多用户在备份时面临的最大挑战。,完整备份系统的组成, 备份服务器：安装备份软件的服务器端。在应用服务器端安装备份软件的客户端，客户端代理软件和服务器端软件协调工作，按照预先制定的备份策略将数据备份到磁带/磁盘上。, 备份软件:具体备份策略的制定、备份介质的管理及一些扩展功能的实现，都由其最终完成。, 备份介质，磁带/磁盘。,主流备份软件厂商-EMC/Legato, Legato公司作为专业的备份软件厂商，Legato公司拥有着比Veritas公司更久的历史，这使其具有了相当的竞争优势。 Legato公司的备份软件产品以NetWorker系列为主线，与NetBackup一样，其适用于大型的复杂网络环境，具有各种先进的备份技术机制，广泛的支持各种系统平台。 在高端市场领域，Legato与Veritas一样具有极强的技术和市场实力，两家公司在高端市场的争夺一直难分伯仲。,主流备份软件厂商-Symantec/Veritas, 高端的NetBackup和低端的Backup Exec。, NetBackup适用于大中型存储系统，广泛的支持各种系统平台。 NetBackup支持复杂的网络备份方式和LAN Free的数据备份，其技术先进性是业界共同认可的。 Backup Exec在Windows平台具有相当的普及率和认可度，目前也有限支持UNIX和Linux平台。 现在其稳稳占据低端市场第一的位置。,主流备份软件厂商-CAIBMBakBone, CA公司的备份软件ARC Serve2000在低端市场具有相当广泛的影响力。今年在并购整合一些备份软件厂商后推出了新一代备份产品BrightStor，这款产品的定位中高端市场。 IBM Tivoli Storage Manager产品是高端备份产品中的有力竞争者。更多的适用于IBM主机为主的系统平台，但其强大的网络备份功能觉对可以胜任任何大规模的海量存储系统的备份需要。 BakBone的NetVault软件。,BakBone,主流磁带库厂商-STKADIC昆腾, 在带库厂商中，市场份额最大的当属美国存储技术公司StorageTek。已被SUN收购。STK最主要的产品线是L系列，包括L20、L40、L80、L180、L700、L5500，从最小20磁带槽位到最大5500磁带槽位。 美国先进数字信息公司 (ADIC)。中级磁带库Scalar 24,Scalar100, 企业级带库Scalari2000，Scalar10K，EMC现在代销ADIC的是其Scalar磁带库系列，IBM OEM。 Quantum的M系列是模块化产品，可根据用户系统需求的增长灵活扩展带库的容量和性能,M1500,M1800,M2500。 P系列的主打产品P4000和P7000分别可以支持几百槽位和十几个驱动器，适合于企业级用户。,备份策略的选择,需要备份的数据存在2/8原则，即20%的数据被更新的概率是80%。这个原则使每次备份都完整的复制所有数据是一种非常不合理的做法。,周一 周二 周三 周四 周五 周六,星期天,星期天,周一 周二 周三 周四 周五 周六, 增量备份是对上次全备份或者增量备份后被修改了的文件做备份。 优点是备份数据量小，需要的时间短； 缺点是恢复的时候需要多盘磁带，出问题的风险较大。, 差量备份是备份自上次全备