HDS AMS2000资料.ppt

1、2020年7月7日星期二,Service Oriented Storage Solution 服务导向型存储解决方案,HDS AMS2000存储系统介绍,中端模块化存储系统面临的困境 企业级设计的“新概念”模块化存储AMS2000 AMS2000模块化存储系统特色技术,AGENDA,从系统架构分析存储系统,性能和功能,成本和规模,困扰中端存储系统用户的主要问题,前端接口的问题 前端端口数量比较少 前端端口流量负载均衡只能在同一控制器上 如何选择符合要求的前端端口类型,内部架构的瓶颈 控制器间的数据交换路径通道带宽小 控制器内的Cache容量容量小 控制器间的基于LUN的动态负载均衡不能实现 微

2、码的升级必须需要多路径软件链路以及软件的配合,后端磁盘通道的瓶颈 海量数据的写入或读出，但后端的处理能力始终不能跟上前端 随着磁盘的数量增多不能保证而且单个磁盘或RAID组性能 现有的二级存储介质不能紧密地和在线介质耦合,改善前端接口的对策,通常模块化存储的前端端口数量比较少 增加前端端口数量以提高存储到主机的聚合带宽 前端端口流量负载均衡只能在同一控制器上 任何一个前端端口都可以被不同的控制器共享，即实现了前端端口在不同控制器上的负载均衡。 该如何选择前端端口类型 FC端口:成熟、高性能、支持远距离连接、但造价较高 ISCSI端口:支持超远距离连接、廉价、传输效率和性能不高，应用还不成熟，不

3、适合数据库等高性能需求应用。,改善存储系统内部结构,控制器之间的数据交换路径通道带宽很小 使用带宽更高的PCI-E通道取代了传统的PCI-X通道 控制器内的缓存容量比较小 提升控制器内部缓存容量 控制器间的基于LUN的动态负载均衡不能实现 基于最新的微码结合了最新的控制器内部负载均衡技术实现了LUN级别的控制器内部数据传输链路的动态负载均衡 微码的升级必须需要多路径软件链路以及更多的人工操作配合 由于前端端口全部被两个控制器共享，故此只需单条链路即可实现磁盘阵列内部微码升级，人工基本不干预升级过程。,改善存储系统后端通道的性能,传统模块化存储后端都采用FC-AL机制，有限的磁盘通道导致性能瓶颈

4、 改用交换式工作模式，更多的并发通讯带宽，满足每块盘充分发挥吞吐性能。 海量数据的写入或读出时，后端的处理能力始终不能跟上前端速度 提高后端并发通讯带宽 增加后端通讯端口数量 随着磁盘的数量增多不能保证而且单个磁盘或RAID组性能 改变现有的磁盘环路带宽共享架构，改用全交换结构。 现有的二线存储池不能紧密地和在线存储池耦合 采用耦合性更高的磁盘介质作为存储载体（SAS和SATA）,CTL#1,其他模块化存储系统,AMS2000存储系统,高端企业级存储系统,AMS2000突破性的控制器体系架构,应用 A,HBA卡,应用 2,HBA卡,RAID3D+3P（SAS 300GB/15Krpm）,RAI

5、D3D+3P（SATA 1TB/7200rpm ）,LUN1,LUN2,以太网,HBA卡,HBA卡,Controller 0,Controller 1,服务器 1,服务器 2,光纤交换机,光纤交换机,动态智能负载均衡技术 Dynamic Load Balance -前后端Any to Any的访问,AMS2000,SAS技术的发展演进,2003,2004,2005,2006,2007,2008,2009,2010,2011,2012,2013,2014,2015,,2016,磁盘容量增长速度远高于后端链路的增长速度,-从磁盘技术演进看出- 从光纤磁盘的发展趋势来看，

6、光纤磁盘的结构体系的改善已非常有限，必须由一种新型的磁盘技术体系来替代它。 磁盘单盘容量从4.5GB增长到1000GB，转速变化不大 光纤磁盘的接口传输速率12年来提升仅4倍(1Gbps-4Gbps)，远低于同类技术提升率,SAS盘3年就内从3Gbps提高到6Gbps 光纤磁盘内部传输性能提升已接近极限（从100MB/s-400MB/s） 光纤磁盘的内部寻道速度仅从0.5-0.35的性能改善 光纤磁盘内部响应速度的提升10年来仅提升50%,SAS设备接口的带宽（4WL=3Gb/s x 4 x 2）,SAS替代FC，大势所趋 - SAS驱动器制交货量,,中端模块化存储

7、系统面临的困境 企业级设计的“新概念”模块化存储AMS2000 AMS2000模块化存储系统特色技术,AGENDA,HDS的SAN存储系统,性能和功能,扩展性,Adaptable Modular Storage 系列,Universal Storage Platform 系列,真正99.999%可用性的模块化存储,动态负载均衡的双活控制器交互冗余访问后端 双控制器镜像保护 所有 缓存带点保护且支持智能UPS断电保护 断电后缓存储数据迅迅速写入磁盘,阵列系统数据副本存放在前4块磁盘上 ，冗余保护 微码升级不需要链路切换软件配合，智能完成，不停机也不影响性能 RAID重建后，不需要从热备磁盘拷回数

8、据,软件系统智能预警、生成报告，诊断系统的任何问题，包括Hi-Track软件，状态灯指示、蜂鸣、 Hitachi Device Manager软件、 Hitachi Resource Manager软件、 Web utility软件、SNMP功能 任何系统异常不会对用户数据产生影响,RAID-6 （P+Q校验算法），更高冗余性 系统定期的智能自简系统保证磁盘系统的稳定可靠 严格的系统预检测技术智能提示磁盘的“软失效”等故障,容余的电源控制单元，冗余的控制器、电池、风扇 每个磁盘扩展单元有偿服务条连路连接，容余且高性能 全局的热备磁盘，动态热替换 每块磁盘均经过高强度质量检测,高能的SAS磁盘和

9、SATA盘均选自企业级优质盘 所有SATA磁盘10分中自动扫描诊断 磁盘采用磁头预置技术和紧急停靠技术 每个SATA磁盘均提供2个接口，SAS盘4个接口,真正99.999%可用性的模块化存储,AMS 2100,AMS 2300,AMS 2500,性能和功能,扩展性,Adaptable Modular Storage 2000 Series,AMS2000系列满足持续的业务增长,Rack Installation,Hitachi AMS 2000 产品家族,磁盘扩展单元,AMS2000扩展单元,AMS2000系列硬件技术指标,AMS2000系列硬件技术指标,控制缓存和数据缓存分离,动态缓存分区技

10、术,高并发、高带宽的SAS后端,DLB智能动态负载均衡技术,AMS2000 技术优势,负载50%,负载50%,AMS2000 Active/Active Symmetric体系架构,AMS2000 Active/Active Symmetric体系架构,控制缓存和数据缓存分离,动态缓存分区技术,高并发、高带宽的SAS后端,DLB智能动态负载均衡技术,AMS2000 技术优势,负载50%,负载50%,控制器结构,AMS2100内部体系架构,AMS2300内部体系架构,AMS2500内部体系架构,1。对称前端双活控制器 Symmetric active-active controller,LUN:

11、 0,LUN: 1,LUN: 2,LUN: 3,CTL0,CTL1,唯一实现负载均衡的中端存储。,Path Manager,Path Manager,Path Manager,Path Manager,LUN: 0,LUN: 1,LUN: 2,LUN: 3,CTL0,CTL1,Path Manager,Path Manager,Path Manager,Path Manager,Standard setting （Load balancing）,User required to set paths,Primary path,Alternate path,HBA,HBA,HBA,HBA,HBA,

12、HBA,HBA,HBA,HBA,HBA,HBA,HBA,HBA,HBA,HBA,HBA,Owning controller of LUN 0,User not required to set paths,其他存储,AMS2000,Benefits,与主机通道软件（HDLM，DMP，MPIO）使用，所有业务均可通过AMS2000双控制器，并发访问，实现多通道之间的负载均衡，提高了系统的综合性能和存储的使用效率。,LUN: 0,LUN: 1,LUN: 2,LUN: 3,CTL0,CTL1,Performance monitor,(1) Send information,(2) Analysis (

13、3) Planning,(5) Change path,LUN: 0,LUN: 1,LUN: 2,LUN: 3,CTL1,Load balance function,Automatically Changes,Need to manually re-configure,Load balancing is executed automatically,Benefits,控制器负载均衡与性能优化，自动执行无须人为干预。大大降低人为数据收集与分析、配置调整和变更的工作，显著减少负载不均、人为干预以及配置变更对业务的影响，提高了系统的综合性能和存储的使用效率。,(4)Change setting,CP

14、U usage： 70%,CPU usage： 10%,CPU usage: 70% 40%,CPU usage： 10% 40%,CTL0,Owning controller of LUN 0,Unique for Midrange,2。自动后端均衡设计 Automatic backend load balancing,其他厂商,HDS AMS2000,控制器结构对比,CTL#1,其他模块化存储系统,AMS2000存储系统,高端企业级存储系统,LUN: 0,LUN: 1,LUN: 2,LUN: 3,CTL0,CTL1,其它模块化存储,链路管理,链路管理,SW,SW,Firmware upda

15、ting,改变属主,改变链路,微码升级，重启,LUN 0的属主,升级时，用户必须手动更改路径,AMS2000,升级时，无须人工介入，阵列自动改路径,LUN: 0,LUN: 1,LUN: 2,LUN: 3,CTL0,CTL1,内部指令,Firmware updating,微码升级，重启,AMS2000前端端口全部被两个控制器共享，只需单链路即可实现磁盘阵列内部微码升级,改变属主,动态智能负载均衡技术 Dynamic Load Balance -微码升级时控制器的无缝切换,AMS2000动态均衡架构的优势,后端SAS结构,光纤存储后端(1)：FC Loop,光纤存储后端磁盘连接主要分为两种：FC

16、Loop和FC Switched Loop。,FC Loop将所有的磁盘挂接单个环路上，每次只允许一次读写，而且必须逐个遍历磁盘才能读/写到对应的磁盘上； Loop方式效率低下，与SAS交换架构不可同日而语,光纤存储后端(2)：FC Switched Loop,FC Switched Loop，即光纤环路交换技术，实际上是采用光纤Hub或者链路控制卡LCC，对Loop环路上的磁盘进行一定程度的访问控制； FC Switched Loop，本身是Loop，是进行一定程度优化的Loop。其本身每次仍只能允许一次读写操作； FC Switched Loop在效率上有提高，但适应更高性能要求方面已显疲

17、态,AMS2000 SAS后端结构,每个磁盘柜有8个SAS通道连接 磁盘到通道采用全交换结构，无仲裁环路的限制 任何部件故障均能直接定位，极易故障排除 SAS/SATA磁盘共用磁盘箱,磁盘柜,磁盘柜,磁盘柜,AMS2000 SAS是真正的交换结构,任何一个磁盘，可与8个SAS通道进行数据通信； 任何一个磁盘柜，控制器通过8路通道的总线对15个磁盘进行访问； AMS2000 SAS后端实现的是多总线的数据交换。,AMS2000后端架构的优势,SAS代表未来，FC代表过去,SAS和FC磁盘具备同样的参数，仅接口差异,SAS和SATA物理电器信号完全兼容,中端模块化存储系统面临的困境 企业级设计的“

18、新概念”模块化存储AMS2000 AMS2000模块化存储系统特色技术,AGENDA,数据缓存,控制缓存,数据缓存,控制信令处理器,控制信令处理器,I/O处理器,I/O处理器,控制缓存,FCPort,iSCSI Port,FCPort,iSCSI Port,iSCSI Port,FCPort,iSCSI Port,FCPort,FCPort,iSCSI Port,FCPort,I SCSI Port,iSCSI Port,FCPort,iSCSI Port,FCPort,缓存分离技术：数据缓存+控制缓存,CTL 0,CTL 1,32 x 3Gb/s SAS Channel Switch,缓存命

19、中率很低，频繁的从磁盘装载数据,CPM缓存分区管理改善缓存效率,频繁的I/O操作装载数据到缓存，前端繁忙,CPM缓存分区管理改善缓存效率,更经济灵活地实现存储容量规划 动态精简配置功能,当需要更多的物理磁盘时，用户可以稍后以较低的成本购得容量，并进行无缝部署，而不会导致关键任务应用程序出现任何中断,虚拟卷,通过根据未来应用程序要求分配虚拟磁盘存储系统，可增强存储容量利用率，并最大限度地降低成本。,虚拟卷,虚拟卷,虚拟卷,虚拟卷,是否考虑能耗?,冷却 25%,IT设备 50%,照明 3%,UPS 10%,新风系统 12%,数据中心的能耗需求,存储省电服务 按需关闭磁盘组,Hitachi Powe

20、r Savings 省电功能可以更为经济高效地支撑下述应用: 数据备份: 相关快照服务 VTL虚拟磁带库数据卷 长期保存归档数据 (不活跃归档数据) 未分配的空间 可预见的不活跃数据卷 例如数据仓库的月报,AMS2000新功能对客户环境优化,Cache,业内独有的缓存技术，显著提高了所选数据的访问性能 业务价值的体现: 匹配高性能应用的需求 不必选择昂贵且不成熟的SSD磁盘,Mirrored Cache,Cache Residency Area,LUN,Extent,LUN,LUN,LUN,Extent,Extent,最大程度提高命中率，改善读写性能,缓存驻留技术 - 改善关键应用性能,能够创

21、建 60TB 的数据卷，充分利用所有磁盘响应I/O请求 业务价值的体现: 满足特定应用需求下的超大文件系统规模需求. 投资保护，支持未来更大容量的SATA驱动器.,“超级卷”技术:超大数据卷满足特定应用需求,HDD5,HDD6,HDD7,HDD0,HDD1,HDD2,HDD3,HDD4,LU0,LU1,LU2,LU3,加入新的磁盘扩展RAID组容量，数据卷自动分布到新加入的磁盘上 智能控制器减缓RAID重建时的I/O性能开销,RAID组在线扩展功能 - 应对数据持续增长,无需依赖RAID组扩展功能，无影响性能的RAID重建操作，简化新的磁盘添加 合并操作与RAID类型无关，可以合并 1/1+0

22、/5/6 单个数据卷可以扩展到60TB,卷合并功能 - 应对数据持续增长,用户可以释放已有数据卷中的空间 释放出的空间可以创建新的卷或者合并到其他卷中,卷扩展和缩小-按照应用的存储需求变化而变化,SAS LU1,SATA LU2,在线迁移,实现信息生命周期中的存储分层管理，不同价值的数据在不同的存储资源中移动 确保业务应用的灵活调整，满足应用SLAs 例如：根据驱动器特性和RAID类型匹配不同I/O需求 较低I/O访问的数据卷从SAS驱动 器迁移到SATA驱动器，反之亦然 或从小的RAID组迁移至大的RAID 组以提高性能 (5D+1P到 7D+1P) 不占用主机的计算资源 无需主机配置变更和

23、重启,SAN,卷迁移功能 - 解决动态数据移动问题,虚拟卷,通过根据未来应用程序要求分配虚拟磁盘存储系统，可增强存储容量利用率，并最大限度地降低成本。,虚拟卷,虚拟卷,虚拟卷,虚拟卷,动态精简配置功能 - 存储容量智能规划,易于使用的基于java技术的 图形化资源管理软件包 基于浏览器方式的关键部件监看 基于Internet的Hi-Track服务 支持通过LAN 进行远程管理 SNMP 兼容 与CA Unicenter, HP Openview, Tivoli等集成 支持命令行控制管理，命令行接口支持编制脚本 监控的license管理 LUN 资源的管理 缓存资源分区管理、常驻管理 LUN的迁

24、移管理 存储阵列内、阵列间复制管理 高级功能软件的管理 多台阵列的统一管理,Hitachi Storage Navigator Modular 2,AMS2000存储系统管理- “简化、优化、自动化”,AMS2000阵列内复制技术-克隆,HDS ShadowImage 克隆软件 卷可读/写加载，提高生产力,消除用于备份的计划停机时间 将对生产数据的影响最小化，自动侦测生产卷I/O，平衡复制卷的复制速度 允许更频繁的数据仓库数据更新，更快速的应用部署 基于阵列的复制，不占用主机资源，完全透明的底层操作。 每个源卷克隆副本数 最大 8个 控制设备数 最大128个 副本数量 最大2047个,Exch

25、ange Server Storage Group,DATA,DATA,X: drive,Y: drive,Backup target,SVOL,1:00PM,2:00AM,ShadowImage,LOG,Z: drive,.,.,AMS2000 Storage System,AMS2000阵列内复制技术-快照,Normal processing continues unaffected,Hitachi AMS2000 Storage Systems,决策支持系统,系统开法测试,不间断备份业务,生产主机,生产主机,Primary Volume,Point-in-time Snapshot1,P

26、oint-in-time Snapshot1,Point-in-time Snapshot1,Copy on Write Snapshot 快照软件 生成不需要进行整个数据卷的拷贝的时间点拷贝（节约空间/生成PiT的时间间隔短） 生成不同时间点的数据备份，易恢复（按需恢复/快速恢复） 单数据卷最多生成32个时间点拷贝 控制设备数 最大128个 单系统最多建立2046个,TrueCopy 同步复制 Bi-directional Differential re-synchronization Reverse re-synchronization R/W Source and Read Target Continuous Access Copy between Adaptable Modular Storage 1000/500/200 or Workgroup Modular Storage 100 and Adaptable Modular Storage 2000 systems TrueCopy Extended Distance (异步复制) Automated source and remote synchronization Automated local and remote RPO snapshot