数据中心标准化构建方案

1、总结总结：数数据中心存据中心存储管理创新储管理创新数数据中心存储据中心存储管理和优化管理和优化当前数据中心的复杂性当前数据中心的复杂性 交流内容交流内容1231当前数据中心的复杂性2管理层对业务支撑系统的要求管理层对业务支撑系统的要求提高效率提高效率优化性能优化性能控制增长控制增长拓展业务拓展业务3经典存储管理的不足经典存储管理的不足主机和存储系统的互相绑定主机和存储系统的互相绑定 提供存储资源 创建卷 增加，缩小卷的空间 挂接到不同主机 日常维护与管理 为卷增加或移出磁盘 数据的复制、拷贝和迁移 镜像/分割 物理层管理 LUN映射 冗余链路管理 I/O负载均衡物理磁盘/LUNsOSAppli

2、cation将多个物理磁盘对象整合成一个虚拟对象4影响影响IT系统优化的二个根本因素：系统优化的二个根本因素：1. 规模和变化带来的管理复杂性规模和变化带来的管理复杂性5 U S ER APPL IC A TIO N SUser Applications OS DRIVERSDMPVxFSVxVMKernelHBAHBASWITCHSWITCH12345fcfcfcfcfcipipip后台存储资源ipfcfcfcfcfcfcfcfc应用系统文件系统/数据库逻辑卷管理存储链路管理磁盘驱动管理存储拓扑管理TrueClusterUFSSun ClusterPolyServeMSCSPPRCASMZF

3、SSecurePathInstantImageMPxIOJFSLVMTrueCopyJFS2HDLMSVMExt3MPIOLDMPowerPathTimeFinderShadowCopySAM FSQFSSDSMirrorDisk -UXSnapViewMirrorViewSRDFOCFSSAN-FSReiserFSGPFSSnapRepliStorServiceGuardData Replication ManagerEVMSVCFlashCopyHACMPGeoSpanSAN CopyDLMShadowImageSnapShotDoubleTakeClusterFrameSNDRQFS用到

4、的软件用到的软件0102030405060708091011121314151617181920212223242526272829303132333435363738394041424344454647484950+影响影响IT系统优化系统优化的两个的两个根本因素：根本因素：2. 系统支撑软件环境的复杂性系统支撑软件环境的复杂性6存储管理和优化的最佳实践7IT基础架构平台化基础架构平台化8存储管理和优化的最佳实践存储管理和优化的最佳实践存储服务内容存储服务内容存储服务内容存储服务内容空间回收整合IO分布数据保护空间扩展迁移拷贝快照复制存储分级存储服务内容统一的存储管理和服务统一的存储管理和服

5、务符合业务需求的快速资源部署和服务提供硬件物理资源提供基本存储单元 $/GB9存储管理和优化的核心技术存储管理和优化的核心技术VERTIAS Storage Foundation10Symantec存储管理软件的历史存储管理软件的历史 1989年接受SUN公司的委托开发了第一个版本的卷管理(logical volume manager) 业内第一款真正意义上的企业级卷管理软件 2000年 HP在HP-UX 11.0开始OEM Symantec卷管理软件 目前全系列OEM Symantec文件系统，JFS=VERITAS File System 2000年 Microsoft在Windows平台

6、开始使用Symantec卷管理软件(Microsoft Logical Disk Manager) 目前在Windows企业平台的占有率为100% 2001年与Oracle合作开发出ODM API 2003年成为IBM IGS容灾解决方案全球合作伙伴 2005年，IBM在P系列OEM Symantec HA管理软件(LINUX)1112数据中心存数据中心存储管理和优化储管理和优化提升提升 存储资源使用效率存储资源使用效率优化优化 系统运行维护系统运行维护提提供供高可用存储环境高可用存储环境掌控掌控 存储资源状况存储资源状况124312业务支撑系统存储管理和优化1314业务支撑系统存储管理和优化

7、业务支撑系统存储管理和优化掌控资源掌控资源掌控掌控 存储资源状况存储资源状况114阵列阵列 A / B?阵列阵列A / B?阵列阵列A / B?主机主机1 / 2?物理物理逻辑逻辑LUN占用占用使用使用100TB90TB80TB70TB10TB90TB10TB80TB10TB70TB20TB50TB端到端的端到端的可视化管理可视化管理阵列阵列主机主机知道主机的存储利用率不知道阵列的分配情况不知道存储的分配情况无法掌握主机/应用对存储的使用情况ILM策略策略数据分类数据存储策略 + 数据迁移分级存储架构VERITAS Storage Foundation解决这些问题解决这些问题.有多少存储？存储

8、在哪里？如何提高存储利有多少存储？存储在哪里？如何提高存储利用率？用率？复杂的环境需要端到端的管理能力复杂的环境需要端到端的管理能力分配分配50TB20TB30TB阵列阵列A阵列阵列B主机主机1主机主机2SAN应用应用1应用应用2应用应用 1 / 2?主机主机 1 / 2?应用应用 1 / 2?主机主机 1 / 2?15掌控现有的存储环境：掌控现有的存储环境：1. 汇总及分析软硬件和网络环境汇总及分析软硬件和网络环境 要求 阵列发现 SAN架构发现 配置管理 好处 掌控物理容量 掌控物理资源利用率 资产状况报告16理解现有的存储环境：理解现有的存储环境：2. 以业务系统和应用为轴心的分析以业务

9、系统和应用为轴心的分析 要求 卷和文件系统可视化管理 应用的可视化管理 文件级的分析 配置管理 好处 物理设备和逻辑层面上的统一 掌控逻辑资源利用率 掌控数据类型和存储位置17理解现有的存储环境：理解现有的存储环境：3. 端到端可视性管理可视化的存储管理和服务端到端可视性管理可视化的存储管理和服务 需求 从应用到磁盘的视图管理 实体间的依赖性 数据间的关联性 好处 掌握物理与逻辑视图间的关系 识别闲置存储18从应用到磁盘的端到端映射的存储管理从应用到磁盘的端到端映射的存储管理File 2 Oracle表空间分布在哪些磁盘上？ 哪些文件在哪些盘上？ 哪些磁盘做备份卷？ 哪些卷是热点？ 哪些卷很少

10、使用？File 1File 3Vol BVol AOracle TableSpaceEMC Array XEMCArray YD7D5D6D4D3D1D2D0D9D8D7D6D1D2D0D5D3D419Oracle存储的端到端拓扑视图存储的端到端拓扑视图FileVolumePlexSTDVol 1BCVol 1STDVol 2LUNsPathsRawDisks121212BCVol 220Oracle端到端端到端I/O性能数据采样性能数据采样21提高存储系统的自主管理能力提高存储系统的自主管理能力 存储系统拓扑结构发现和健康状况管理 应用到磁盘的端到端的管理 存储容量管理、使用分析和优化 存储

11、容量分布和趋势分析 优化存储资源和存储系统运维 闲置存储回收，提升存储利用率2223数据中心存数据中心存储管理和优化储管理和优化提升效率提升效率提升提升 存储资源使用效率存储资源使用效率掌控掌控 存储资源状况存储资源状况1223建立互联互通的存储环境建立互联互通的存储环境 建立开放的存储管理平台，最大限度屏蔽硬件技术差异 摆脱硬件限制，提升系统扩展能力和客户自主选择能力 提高主机到存储的访问性能和可靠性 使存储资源得到充分利用 降低硬件设备投资 根据业务需要合理配置硬件资源 优化业务系统对于存储空间的使用SolAIXLinuxHPUXVERTIAS Storage FoundationEMCH

12、DSHPIBMSunNetApp3Par24在线、统一管理存储资源在线、统一管理存储资源 将不同厂家，新旧或档次不同的存储整合到一起 统一管理存储资源 集中分配存储空间 分级管理和使用存储设备 在线、动态数据迁移客服数据库客服数据库经分分析经分分析数据库数据库营帐数据库营帐数据库计费数据库计费数据库25减少数据冗余，提高应用性减少数据冗余，提高应用性能能 （CFS） 多个应用共享存储和数据 避免FTP和NAS带来的效率问题 均衡应用负载 性能随主机数量线性增长 系统高可用，没有单点故障CVMCVMCVM详单详单/2出帐出帐/2计费计费/2CVM采集采集/2SANClusterFile Syst

13、em26提高存储和数据管理效率提高存储和数据管理效率动态存储分级动态存储分级 现有系统问题 缺乏对新、旧，高、低端存储的管理手段 缺乏让不同存储价值最大化的手段 没有有效的存储整合技术 优化方案 采用动态存储分级管理 对混合存储环境（不同访问协议如FC、iSCSI之间，不同档次如SSD 、 FC、SATA，不同性能如高端、低端之间）进行存储服务质量管理 提供不同级别SLA的存储服务 基于存储设备属性和数据属性进行划分 动态地迁移数据/VxFS File System高端磁盘高端磁盘 FC73GB HDDsPlenty of NVRAM15,000 RPMRAID 1+0低端磁盘低端磁盘 SAT

14、A250GB HDDsSome NVRAM7,200 RPMRAID 5-rw-r-r-1 jsmithstaff910Jul 4 17:09 save_vxprint-rw-r-r-1 jsmithstaff3308Jul 4 15:15 config.log-rw-r-r-1 jsmithstaff1841Jul 4 12:01 user_rankdrwxr-xr-x4 jsmithstaff512Mar 24 11:37MD5-1.7drwxr-xr-x4 jsmithstaff512Mar 24 11:37MIME-Base64-2.12drwxr-xr-x3 jsmithstaff5

15、12Mar 24 11:37patches_and_modules -rw-r-r-1 jsmithstaff1499Jan 17 14:13test_script-rw-r-r-1 jsmithstaff1663Jan 17 14:13prtdiag-rw-r-r-1 jsmithstaff2046Jan 17 14:13nohup.out-rw-r-r-1 jsmithstaff2071Jan 17 14:13extract_config.ksh-rw-r-r-1 jsmithstaff426Jan 17 14:13wrapper_script-rw-r-r-1 jsmithstaff68

16、5Jan 17 14:13file_cleaner_1-rw-r-r-1 jsmithstaff1006Jan 17 14:13note_fcn-rw-r-r-1 jsmithstaff1842Jan 17 14:13ckpt_timer-rwxr-xr-x3 jsmithstaff550Jan 10 19:49pearl_dir-rwxr-xrwx2 jsmithstaff781Jan 7 15:50 testftp Volume AVolume BVERITAS Storage Foundation27不同存储间的文件迁移和管理不同存储间的文件迁移和管理动态存储分级动态存储分级 新文件根据

17、属性自动去它该去的地方 根据设定的条件，文件自动迁移到指定的存储中/one_fs/sales/current/forecast/financial/2010/2009/development/new_app/history(Mirrored x 2)Tier2(RAID5)Tier3(Striped)TierTemp(Mirrored x 3)Tier128通过动态存储分级规则让数据通过动态存储分级规则让数据“各归其位各归其位”DST 规则规则用户案例用户案例Agingmtime or atime银行: 客户交易记录 3 个月 = tier 1, 1 年 = Tier 3ActivityI/O

18、 或者或者 访问热访问热度度零售行业: 当冬季清点库存，数据IO热度上升时，将数据迁移到Tier 1; 夏季时将数据迁移到Tier 2Owner用户或用户组用户或用户组IT服务: 客户账单信息 = Tier 1, PM Wiki 网站 = Tier 2Logical location目录目录网络服务提供商: 付费客户邮箱= tier 1, 免费客户邮箱= tier 2Name文件名文件名制造业: 设计文件数据 = tier 1 , mp3数据 = tier 3Size文件所用空间文件所用空间医疗记录公司: 大文件 (如X光图片) = tier 329存储设备物理集中静态分配给主机存在互联互通问

19、题实现存储分级管理，区别对待不同档次存储数据在不同级别存储间动态迁移存储资源的充分利用不同阵列间的数据快照本地和远程存储镜像远程数据复制不同数据中心存储的整合和利用创新存储管理，提升存储使用效率创新存储管理，提升存储使用效率/FileSystemTier 2Tier 1旧设备新设备Tier 2Tier 1Tier 2简单集中简单集中池化存储池化存储数据复制数据复制分级存储分级存储实现存储互联互通建立统一存储池存储空间按需分配提升存储利用率不同档次存储如何区别对待？Tier 2Tier 13031数据中心存数据中心存储管理和优化储管理和优化优化运营优化运营提升提升 存储资源使用效率存储资源使用效

20、率优化优化 系统运行维护系统运行维护掌控掌控 存储资源状况存储资源状况12331减少停机，提高存储系统可靠性减少停机，提高存储系统可靠性改变改变RAID配配置置移动数据卷移动数据卷改变卷大小改变卷大小重新分配磁盘重新分配磁盘硬件升级硬件升级物理磁盘损坏物理磁盘损坏传输通道损坏传输通道损坏数据冲突数据冲突计划停机计划停机意外停机意外停机32系统停机原因系统停机原因30% 计划停机计划停机40% 软件8% 硬件15% 人为7% 其他集中化存储管理的全新体验集中化存储管理的全新体验 可视性 集中的可视化管理 应用的存储使用问题 全面的资源详细情况 可控性 存储管理的操作引导 减少存储管理成本 提高运

21、营效率 可管理性 简单、可重复的存储管理过程 磁盘组的迁移 卷的迁移33高度自动化的日常运维管理高度自动化的日常运维管理 在线动态管理存储资源 根据需要分配和回收存储空间 动态数据迁移路径管理路径管理 端口到路径的匹配 单路径警告 中止访问路径 启动访问路径2集中分级存储管理集中分级存储管理 设置存储分级策略 推送策略到主机 强制策略执行3$DST5.0 and4.x Hosts12数据卷迁移数据卷迁移 找出使用阵列1的主机 镜像到阵列2 断开原有镜像134Date Accessed 60 days = DMX, else EVA3应用集群的统一管理应用集群的统一管理现有系统的集群方式现有系统

22、的集群方式利用率利用率Symantec集群方式集群方式提升主机利用率，降低投资提升主机利用率，降低投资3536数据中心存数据中心存储管理和优化储管理和优化提供存储服务提供存储服务提升提升 存储资源使用效率存储资源使用效率优化优化 系统运行维护系统运行维护提供提供 高可用存储环境高可用存储环境理解理解 现有存储资源状况现有存储资源状况124336保保护护管管理理性性能能 镜像镜像 分级存储分级存储$ 聚合聚合调整调整 迁移迁移克隆克隆 分区分区操作系统迁移操作系统迁移UnixLinux在线碎片整理在线碎片整理集群文件集群文件系统系统变更日志变更日志条带化条带化 多路径多路径Quick I/O并发

23、并发I/O 快照快照检查点检查点 复制复制VERITAS Storage Foundation提供与盘阵无关的存储功能和服务提供与盘阵无关的存储功能和服务37消除存储系统单点故障消除存储系统单点故障盘阵间镜像盘阵间镜像 现有系统的隐患 单个的磁盘阵列是系统的单点 物理盘阵的损坏会导致业务的中断 优化方案 引入另一磁盘阵列 实施盘阵间的镜像 消除存储单点隐患VERITAS Storage Foundation38消除应用系统逻辑错误消除应用系统逻辑错误空间优化快照空间优化快照 现有系统隐患 运维和升级可能会导致数据的损坏 优化方案 建立空间优化快照，防范软件故障或人为失误 空间优化快照节省磁盘空

24、间 基于时间点的快照保证了数据的恢复能力Now空间优化的快照空间优化的快照39提高应用系统快速恢复能力提高应用系统快速恢复能力数据快照数据快照 现有系统隐患 系统不断变化可能会破坏数据 磁带备份的恢复会带来比较长的停机时间 优化方案 建立数据快照，防范物理和逻辑故障 快照的数据随时可用，缩短恢复时间 数据快照也可以用来做测试、统计分析 不同盘阵间快照可以防范磁盘阵列硬件故障快照快照VERITAS Storage FoundationEMC DMXSATA40割接上线的支持能力割接上线的支持能力 新业务、整合和融合带来应用系统的不断变化和调整 数据迁移和快照能力支持应用系统的测试、迁移和割接上线

25、 异构平台之间的数据迁移能力，降低系统迁移风险 跨阵列快照提供了更大的灵活性 提供快速的数据保护和恢复新系统新系统原系统原系统LAN 快照卷快照卷生产卷生产卷41异构平台间的数据迁移异构平台间的数据迁移 标准化了文件系统和数据卷 文件系统和卷在不同操作系统间移动 数据独立于其磁盘载体 减少迁移成本和时间 适用于有相同数据格式的环境（CAD、ASCII、多媒体、话单、数据库）HP SDIBM rp42减少备份对业务的影响减少备份对业务的影响Server-Free备份备份 现有系统隐患 备份时间过长，影响业务运行 磁带恢复时间过长，会影响业务服务质量 优化方案 备份不影响生产系统 支持数据库的备份

26、，无需开发脚本 自动的处理流程 快照, 映射, 挂接, 备份 从快照或磁带上恢复 Backup Server ClientLAN MirrorPrimary43生产中心生产中心 VxVM空间优化快照启动容灾演习启动容灾演习快照加载快照加载复制复制应用测试应用测试演习结束演习结束灾备中心灾备中心丰富应用监控能力丰富应用监控能力ProcessMountVolumeDiskGroupIPNIC应用服务组应用服务组SF集群文件系统下的集群文件系统下的快速故障切换快速故障切换安全可靠的安全可靠的DR测试测试备服务器备服务器故障服务器故障服务器主服务器主服务器Client主服务器主服务器应用管理和容灾演习

27、应用管理和容灾演习Detect failureUn-mount file system Deport disk groupImport disk groupMount file systemStart applicationClients Reconnect44总结:业务支撑系统存储管理创新45整改和优化整改和优化IT系统存储架构系统存储架构建设集中、在线、跨平台的存储管理，提供存储服务建设集中、在线、跨平台的存储管理，提供存储服务空间管理要求资源管理集中化告警监控降低投资成本清点存储设备了解资源的消耗 准确反映当前整体情况科学决策/预测发展趋势采购过程更明确性能监控端到端拓扑发现动态跟随网络

28、变化事前主动监控使用更经济快速定位事故原因存储环境故障响应集中处理平台业务影响关联策略提高反应速度减少管理工具端到端管理软件独立性统一管理提高适应能力统一工具减少人为失误从业务应用到物理设备可视性管理要求可靠性管理要求可变性管理要求46按最优性价按最优性价比部署比部署的的服服务器单元务器单元层次化部署的硬层次化部署的硬件件存存储单元：储单元：提供容量及性能资源提供容量及性能资源整改和优化后的业务支撑系统基础架构整改和优化后的业务支撑系统基础架构47Thank you!Copyright 2010 Symantec Corporation. All rights reserved. Symant

29、ec and the Symantec Logo are trademarks or registered trademarks of Symantec Corporation or its affiliates in the U.S. and other countries. Other names may be trademarks of their respective owners.This document is provided for informational purposes only and is not intended as advertising. All warra

30、nties relating to the information in this document, either express or implied, are disclaimed to the maximum extent allowed by law. The information in this document is subject to change without notice.48IT基础架构平台化基础架构平台化49Symantec存储管理软件的历史存储管理软件的历史 1989年接受SUN公司的委托开发了第一个版本的卷管理(logical volume manager)

31、业内第一款真正意义上的企业级卷管理软件 2000年 HP在HP-UX 11.0开始OEM Symantec卷管理软件 目前全系列OEM Symantec文件系统，JFS=VERITAS File System 2000年 Microsoft在Windows平台开始使用Symantec卷管理软件(Microsoft Logical Disk Manager) 目前在Windows企业平台的占有率为100% 2001年与Oracle合作开发出ODM API 2003年成为IBM IGS容灾解决方案全球合作伙伴 2005年，IBM在P系列OEM Symantec HA管理软件(LINUX)50业务支撑系统存储管理和优化51阵列阵列 A / B?阵列阵列A / B?阵列阵列A / B?主机主机1 / 2?物理物理逻辑逻辑LUN占用占用使用使用100TB90T