数据存储项目从需求到方案(PPT 81页).ppt

数据存储项目从需求到方案,2,2020年6月13日星期六,提纲,典型企业应用架构数据存储层的需求分析数据访问层的需求分析应用层的需求分析案例分享,3,2020年6月13日星期六,典型企业应用架构,存储层存储企业数据通常是数据库数据访问层对存储设备的访问对数据的操作应用层业务逻辑展现层数据的展现,4,2020年6月13日星期六,数据存储层需要考虑的问题,存储环境的选择数据容量数据安全性数据扩展性数据访问效率（性能要求）数据生命周期的考虑,5,2020年6月13日星期六,Q1:客户存储环境？客户现有环境和计划采用的技术,SAN环境(光纤)存储区域网络高速光纤网络高效适合提供块数据服务造价相对较高,NAS通过网络提供数据通常适合文件服务容易共享造价低受NAS服务器限制,iSCSIIPSANSCSIoverIP网络上提供数据块服务无需专用存储网络造价较低网络协议导致了性能相对FCSAN较低,DAS直接连接服务设备连接方式多样数据无法共享维护成本高,6,2020年6月13日星期六,Q2:客户数据容量？现有数据容量和发展需求,1-5T,5-50T,50T,7,2020年6月13日星期六,Q3:数据保护,54,为什么需要数据保护？,8,2020年6月13日星期六,Q3:数据安全的保证在线一份数据还是两份？单存储？,即时数据拷贝保证数据安全在线备份、对应用无影响数据丢失可及时恢复拷贝的数据可以用于数据挖掘改善业务流程提高客户的业务能力提供针对Oracle,Exchange和SAP系统特点的数据快照保护,9,2020年6月13日星期六,Q3:数据安全的保证在线一份数据还是两份？双存储？,持续数据保护基于操作系统简单易用没有停机时间费用较高不能完成容灾,mirroring,10,2020年6月13日星期六,备份及其误区,误区之一：用拷贝替代备份误区之二：用双机，磁盘阵列/镜像等系统冗余替代数据备份系统冗余保证了进程的连续性和系统的高可用性。系统冗余不能替代数据备份人为错误，恶意破坏病毒断电天灾人祸数据的备份才能保证数据万无一失误区之三：只备份数据文件恢复时要重新安装操作系统恢复时要重新安装所有的应用程序需要相当长的时间才能恢复所有的数据,11,2020年6月13日星期六,LTOULTRIUM适用于寻求最佳性能、可靠性和投资保护的客户网络备份和异构环境的理想之选可选择高性能、全高磁带机或者经济的半高磁带机DAT/DDS经济、可靠的解决方案非常适用于工作站和小型服务器提供热插拔型号最低的介质价格可带来极低的拥有成本,*上述所列容量为磁带机自身具备的容量,Q4:数据安全备份磁带机TapeDriver,数据备份快速恢复单键快速自动恢复OBDR,12,2020年6月13日星期六,HPRestrictedForHPPartner&InternalUseOnly,Q5:数据安全备份磁带库TapeLibrary,集中备份自动备份与恢复,13,2020年6月13日星期六,磁带的优势,大容量：1盘介质上可存储高达800GB的数据小尺寸：所有这些容量都可存储在1盘小巧的数据磁带上可移动性：介质可以与设备分离，提供额外的病毒保护便携性：介质可以在现场之外存储，提供额外保护长寿命：适合长期存储（至少1015年）,3,惠普机密,磁带备份系统的问题,15,2020年6月13日星期六,磁盘备份？磁带备份？,现在，市场上有两种备份方式可供您选择.,16,2020年6月13日星期六,16,2020年6月13日星期六,D2D100系列,VLS6000系列,D2D2500系列,D2D4000系列,VLS9000,入门级,中高端,企业级,简单经济小型企业iSCSI,入门级机架更小的IT环境或远程站点iSCSI,更高容量的解决方案具有小型数据中心的中型企业iSCSI和FC,单节点系统中型和企业级数据中心大中型FCSAN,多节点系统高性能和可扩展性企业数据中心大型FCSAN,具备快速重复数据删除功能（Accelerateddeduplication）,具备重复数据删除功能,数据安全备份磁盘备份虚拟磁带库VTL,集中、自动备份与恢复快速自动备份与恢复提高介质利用率,17,2020年6月13日星期六,手动备份与恢复人员操作容易出错，恢复复杂成本高集中自动备份与恢复自动运行无需或者很少人员的参与更容易的恢复,数据安全备份手段自动方式？手动备份？,18,2020年6月13日星期六,Q6:数据安全容灾需求？,多存储备份与恢复StorageMirroring磁盘阵列级多存储备份与恢复-CA,19,2020年6月13日星期六,容灾！容灾！容灾！如何选择合适的数据保护战略？,两个主要的衡量指标：恢复时间目标（RTO）业务流程能够承受多长的停机时间？一天？一个小时？一刻都无法承受？恢复点目标（RPO）企业可承受多少数据丢失？一天的数据？一个小时的数据？不能丢失任何数据？,磁带和自动化处理,虚拟磁带库,基于磁盘复制,连续保护数据,秒分钟小时天,恢复点(RecoverPointObjective),恢复时间(RecoveryTimeObjective),保护方法,磁带备份写入时捕获保险库综合备份磁带备份存档快照实时复制镜像,实时恢复磁盘存储磁带存储卷备份时间点搜索/检索,恢复方法,20,2020年6月13日星期六,20,20,2020年6月13日星期六,多主机级多存储备份与恢复StorageMirroring,持续的数据保护要求快速数据备份，字节数据复制，秒级内快速数据恢复，分钟级内从SMB到Enterprise软件支持，价格较低较低的网络配置也能满足,21,2020年6月13日星期六,磁盘阵列级多存储备份与恢复CA容灾-“抗地震”的应用系统高可用性方案,数据的连续拷贝硬件级别的操作对系统性能无影响保证业务数据安全在灾难发生时，保持业务运行应用与数据容灾的配合,22,2020年6月13日星期六,Q7:数据扩展性,如何扩展容量考虑的问题是否考虑停机？重构还是自动扩展？一次采购还是逐渐升级目标应用不停机，容量自动增长磁盘卷不用重构，容量自动扩展减少初期投入，随业务稳步增长,23,2020年6月13日星期六,Q8:数据访问效率,阵列的选择并发用户数的考虑数据量的大小平均访问时间磁盘的选择？FC/FATA/SATA/SSD如何利用所有磁盘的性能不同类型的硬盘其性能差异很大，根据性能、容量、价格来进行衡量同类型的硬盘选择指导：在满足相同存储容量要求下，尽量选择大容量低转速的硬盘，降低采购成本。,24,2020年6月13日星期六,固态硬盘SSD与光纤硬盘的对比,25,2020年6月13日星期六,近线FATA磁盘不常访问的数据、快速恢复、备份到磁盘,在线FC磁盘活动数据、本地和远程镜像、即时恢复,数据生命周期分层存储,固态硬盘-SSDIO密集型应用,26,2020年6月13日星期六,数据访问层的需求,数据访问模式数据访问安全系统可靠性要求系统性能需求系统备份与恢复资源共享,27,2020年6月13日星期六,Q9:数据访问模式,数据库Oracle、SQLServer、DB2、Sybase、文件服务NFS、CIFSNAS,28,2020年6月13日星期六,Q10:数据安全访问,提供高可用，多节点的访问如OracleRAC，可以选择ServiceGuard+ServiceGuardextensionforRAC双机Standby互备模式应用容灾（涉及流程、切换、演练、人员等）,29,2020年6月13日星期六,Q11:系统可靠性需求,非计划宕机时间防病毒与安全内部安全机制,30,2020年6月13日星期六,小机？PC服务器？,安全性更高，PCServer上的OS安全性相对较低，而且病毒、bug等更严重扩展性更高，如果业务增长较快必须移植到小型机稳定性更高，小型机99.999%，而PCServer一般99.99%，停机时间分别为5分钟和52分钟可靠性更高硬件上更多的可靠性技术（如zx2的双芯片备件、IO故障隔离、CPU故障隔离）集群技术更成熟,31,2020年6月13日星期六,Q12:系统性能需求,性能考虑指标并发用户数平均响应时间业务复杂程度一般情况下，一个CPUCore支持20-50并发用户数小型机下：CPUCore/Memory=1:2或者1:4PC机下：CPUCore/Memory=1:1或者1:2,32,2020年6月13日星期六,Q13:烟囱式？融合式？,单一应用/多个应用能利用应用峰值的错峰特性？充分利用虚拟化技术实现资源的共享硬件分区、软件分区、虚拟机、资源动态调度技术虚拟连接VC、刀片技术,33,2020年6月13日星期六,应用层的需求,中间件选择（应用架构）应用访问安全系统可靠性系统性能需求系统备份与恢复资源共享,34,2020年6月13日星期六,中间件选择,C/S架构无中间件平台多层架构J2EE架构，如WebLogic，WebSphere，JBoss.NET架构Transaction，如TUXEDO、CICS需要有中间件服务器支撑,35,2020年6月13日星期六,应用访问安全,应用服务器Cluster应用服务器本身就有集群的能力，如WebLogic、WebSpere、JBoss等有别于数据库中的HA和Standby,36,2020年6月13日星期六,系统性能需求,根据系统的并发用户数来选择服务器一般情况下，一个CPUCore支持50-100并发用户数小型机下：CPUCore/Memory=1:2或者1:4PC机下：CPUCore/Memory=1:1或者1:2,37,2020年6月13日星期六,案例分享,某省社保案例医疗信息系统案例,38,2020年6月13日星期六,案例1社保案例社保IT部门面临挑战,业务复杂、影响面广养老、医疗、失业、工伤、生育政策、流程变更频繁参保机构/人员增加，系统不能满足业务需要白天，参保机构办理停保、续保业务多，应用服务器很忙，客户等待时间很长。（晚上较闲）晚上，批量处理参保机构信息，数据库服务器忙，有时在第二天上班前不能处理完毕。（白天较闲）信息化建设正兴起，系统维护力量相对薄弱,案例1社保案例了解客户需求,Q1:客户存储环境？客户现有环境和计划采用的技术结合用户现有技术环境，选择合适的存储环境客户对性能要求较高客户现有SAN存储环境A1:FCSAN,案例1社保案例了解客户需求,Q2:客户数据容量？现有数据容量和发展需求800万参保用户、48万参保单位为例保留五年的数据在一级存储存储需求30TB数据冗余,RAID5阵列裸容量50TB随着农村医疗和区域医疗的加入，数据还会增加A2:需要50TB存储容量，并提供容量增加的能力,案例1社保案例了解客户需求,Q3:数据安全的保证在线一份数据还是两份？单存储？数据量大，难以保存两份数据内置RAID技术可以满足数据的安全需求需要存储阵列提供企业级的安全级别，99.999%在第一期不考虑容灾的问题A3:企业级存储的内置RAID实现数据安全保护,案例1社保案例了解客户需求,Q3:数据安全的保证在线一份数据还是两份？双存储？利用企业存储阵列的RAID技术不使用两份或者双存储双存储的容灾解决方案将在后期考虑A3:企业级磁盘阵列,案例1社保案例了解客户需求,Q4:数据安全备份磁带机TapeDriver数据需要备份，以保证数据的安全需要利用磁带来保证具有数据的多个版本除了数据之外，主机的操作环境也需要备份全备份数据量30TB日增加数据量15GB磁带机只能用于主机系统的数据备份，不能用于数据,案例1社保案例了解客户需求,Q5:数据安全备份磁带库TapeLibrary数据容量30TB每月完全备份一次30TB每天增量备份16GB多个备份任务要同时进行Q5:磁带库容量一般按照数据容量的3倍进行选择，因此磁带库容量需要100TB，4-6个并发支持,案例1社保案例了解客户需求,Q5:数据安全备份磁盘备份虚拟磁带库VTL备份时间窗口需求全备份不超过8小时增量备份1小时内完成系统数据恢复时间不能超过12小时A5:需要利用虚拟磁带库。,案例1社保案例了解客户需求,Q5:数据安全备份手段自动方式？手动备份？自动完成备份无需人工干预出错报警技术，SMS,Email支持全备份与增量备份自动的，全备份与增量备份软件,案例1社保案例了解客户需求,Q6:数据安全容灾需求？本期不考虑容灾需求A6:暂不考虑，但存储和主机应该支持数据和应用的容灾。,案例1社保案例了解客户需求,Q7:数据扩展性现有容量20TB3年内增加到30TB如果政策改变，可能会涨到50TBA7:存储必须快速实现容量的增加，不能影响业务的连续运行,案例1社保案例了解客户需求,Q8:数据访问效率75%的查询，25%对数据修改平均操作响应时间不能超过5秒100个用户会对数据库访问晚上数据的报表需要较多的计算资源A8：必须采用FC磁盘才能满足客户的高效能需求,案例1社保案例了解客户需求,Q9:数据访问模式根据社保核心平台，J2EE环境采用Oracle+Weblogic架构采用OracleRAC实现并行处理本案例采用了Oracle数据库，利用OracleRAC提供多节点访问和高性能,案例1社保案例了解客户需求,Q10:数据安全访问OracleRACWebLogicClusterHA方案,案例1社保案例了解客户需求,Q11:系统可靠性需求系统需要连续不断运行必须对病毒免疫必须支持大规模高并发必须支持超过500个并发的用户数量采用小型机，Unix,案例1社保案例了解客户需求,Q12:系统性能需求必须支持多达30TB的数据访问必须支持高达500的并发用户必须采用HA的方式系统平均响应时间小于5秒报表时间必须小于8小时A12:高性能多CPU小型机,案例1社保案例了解客户需求,Q13:烟囱式？融合式？业务平台和报表平台共享数据库业务平台白天比较忙，而报表相反希望能利用峰值差在不同系统之间调度计算资源Q13：动态资源调度技术,客户需求Summary,从前面了解的需求，总结客户的需求如下：性能要求较高、现有SAN环境数据量大，现有数据20TB，3年内达到30TB，还会增加数据不能丢失，系统可靠性99.999%主机系统数据安全备份用户数据备份，每月全备份一次30TB、每日增量备份15GB、全备份时间不能超过8小时、增量备份不超过1小时、数据恢复时间不超过12小时、要求自动、集中备份数据库采用OracleRAC、应用服务器采用WebLogicCluster，要求支持500以上并发用户、平均响应时间不超过5秒、报表时间不超过8小时白天应用系统忙、晚上数据库有大量的批量作业要进行处理，如报表、批量数据处理业务,HP建议硬件设备,根据用户的需求，建议的HP硬件配置方案：存储阵列：EVA8400SAN交换机：8/16SANSwitch数据库服务器：SuperDome、HP-UX、ServiceGuard、ServiceGuardextensionforRAC、1个nPar、2个vPar应用服务器：SuperDome、HP-UX、1个nPar、2个vPar虚拟带库：VLS9000磁带库：245e备份软件：DP备份管理服务器：DL380存储管理服务器：DL380,57,2020年6月13日星期六,案例1社保案例社保解决方案应用系统架构,集群,案例1社保案例社保总体架构,社保数据库服务器RAC1SD12*1.6GHz/32GB,社保数据库服务器RAC2SD12*1.6GHz/32GB,存储管理服务器,FCSwitch8/16,MC/ServiceGuardExtensionforRAC,备份服务器,EVA8400,社保应用服务器SD4*1.6GHz/8GB,社保应用服务器SD4*1.6GHz/8GB,VLS9000,案例1社保案例产品配置需求清单,存储产品型号和配置需求清单型号、台数、硬盘个数（按照转速）、软件LTU、服务级别光纤交换机型号和配置需求清单型号、台数、端口数LTU、SFP数量、光纤线长度与数量、高级软件LTU、服务级别数据库服务器产品型号和配置需求清单产品型号、台数、CPU个数、内存大小、内置硬盘个数与容量、网卡个数、FC卡个数、操作系统、磁带机、服务级别应用服务器产品型号和配置需求清单产品型号、台数、CPU个数、内存大小、内置硬盘个数与容量、网卡个数、操作系统、磁带机、服务级别磁带库产品型号和配置需求清单产品型号、台数、Driver数量、磁带容量和盘数、清洗带数量、磁带标签、服务级别备份软件DP和配置清单SANBackup、OnlineBackup、槽位数扩展、Driver数扩展管理服务型号和配置清单（PCServer）,60,2020年6月13日星期六,案例2医疗信息系统案例业务需求,业务集中早上810点，下午13：3015点，是医院看病的业务高峰期安全性要求高系统不能遭受病毒、安全漏洞攻击数据不能丢失系统要求稳定，不能宕机系统扩展能力业务发展快系统易管理要求降低运营成本,案例2医疗信息系统案例了解客户需求,Q1:客户存储环境？客户现有环境和计划采用的技术结合用户现有技术环境，选择合适的存储环境客户对性能要求较高客户现有SAN存储环境A1:FCSAN,案例2医疗信息系统案例了解客户需求,Q2:客户数据容量？现有数据容量和发展需求每日门诊量5000人左右，住院床位数1000张左右保留五年的数据在一级存储存储需求3TB数据冗余,RAID5阵列裸容量5TB随着PACS、EMR的加入，数据还会增加A2:需要5TB存储容量，并提供容量增加的能力,案例2医疗信息系统案例了解客户需求,Q3:数据安全的保证在线一份数据还是两份？单存储？数据量大，难以保存两份数据内置RAID技术可以满足数据的安全需求需要存储阵列提供企业级的安全级别，99.999%在第一期不考虑容灾的问题A3:企业级存储的内置RAID实现数据安全保护,案例2医疗信息系统案例了解客户需求,Q3:数据安全的保证在线一份数据还是两份？双存储？利用企业存储阵列的RAID技术不使用两份或者双存储双存储的容灾解决方案将在后期考虑A3:企业级磁盘阵列,案例2医疗信息系统案例了解客户需求,Q4:数据安全备份磁带机TapeDriver数据需要备份，以保证数据的安全需要利用磁带来保证具有数据的多个版本除了数据之外，主机的操作环境也需要备份全备份数据量5TB日增加数据量1GB磁带机只能用于主机系统的数据备份，不能用于数据,案例2医疗信息系统案例了解客户需求,Q5:数据安全备份磁带库TapeLibrary数据容量3TB每月完全备份一次3TB每天增量备份1GB并发性要求不是很高Q5:磁带库容量一般按照数据容量的3倍进行选择，因此磁带库容量需要10TB，1-2个并发支持,案例2医疗信息系统案例了解客户需求,Q5:数据安全备份磁盘备份虚拟磁带库VTL备份时间窗口需求全备份不超过8小时增量备份1小时内完成系统数据恢复时间不能超过12小时日增数据量1GBA5:不需要利用虚拟磁带库。,案例2医疗信息系统案例了解客户需求,Q5:数据安全备份手段自动方式？手动备份？自动完成备份无需人工干预出错报警技术，SMS,Email支持全备份与增量备份自动的，全备份与增量备份软件,案例2医疗信息系统案例了解客户需求,Q6:数据安全容灾需求？本期不考虑容灾需求A6:暂不考虑，但存储和主机应该支持数据和应用的容灾。,案例2医疗信息系统案例了解客户需求,Q7:数据扩展性现有容量2TB3年内增加到3TB如果有PACS系统的整合或者EMR系统的需求，可能会涨到10TB以上A7:存储必须快速实现容量的增加，不能影响业务的连续运行,案例2医疗信息系统案例了解客户需求,Q8:数据访问效率50%的查询，50%对数据修改平均操作响应时间不能超过5秒100个用户会对数据库访问存在业务高峰期的问题，早上8:00-10:00，下午13:30-15:00业务集中A8：必须采用FC磁盘才能满足客户的高效能需求,案例2医疗信息系统案例了解客户需求,Q9:数据访问模式根据HIS平台，C/S环境采用SQLServer架构采用SQLServer实现双机Standby本案例采用了SQLServer数据库，利用SQL