基于ICMT的存储资源管理解决方案

基于ICMT的存储资源管理解决方案宏杉面向云架构的存储解决方案系列之一问题与挑战Oracle面对日益复杂的应用，存储资源配置越来越难！控制存储成本越来越难！大型文件系统D:\Hot!LUNDISKDISKDISKRAIDDISKDISKRAIDRedologDataFileLUNLUNLUNlunDiskGroup/ASM…LVLVLV这个虚拟机压力太大了，同一个盘上的其它虚拟机都还好，我把整个盘换成SSD？从存储系统的磁盘到Oracle逻辑文件少说也有6-7层，该怎么调整提高性能呢？新买的几个SSD怎么用呢？……经常访问的文件不常访问的文件需归档的文件分类？海量文件必须分类存储，否则我的在线存储容量就太大了，但如何分类呢？存储资源管理的现实需求总结1提高存储资源利用率更加迫切新应用部署导致存储资源需求猛增，绿色高效成为潮流，固态硬盘这种高性能但昂贵的存储资源逐渐被市场接受，用户希望得到提高存储资源利用率的存储管理方案23存储资源管理变得更加简单应用日益复杂，类型更加多样，存储资源配置需要具备智能，能自适应这种变化，资源配置随应用需求而变。用户希望存储管理更加简单提高性能，并能持续提高性能应用性能需求难以精确估计，用户对存储系统持续提高性能的需求是永无止境的。用户希望一个能提高性能的存储产品，更希望得到一个能持续提高性能的存储方案传统的存储资源管理架构RAIDDiSKLUNRAIDDiSKLUNRAIDDiSKLUN传统方式传统存储资源管理架构的本质和问题串行架构LUN、RAID、Disk三者是串行关系，应用看到的逻辑空间被牢牢束缚在固定的Disk之上资源计划配置模式首次配置计划中LUN的容量大小，决定了其下RAID配置和Disk数目资源配置固定，性能扩展性和容量扩展性差

对于主机LUN，也就是对于应用的存储资源配置是固定的，不具弹性，因此决定了对应用的性能和容量的扩展性都难以实施难以实现配置改动任何一次资源配置的改动都是“伤筋动骨”，最严重的情况是应用重做越来越难以适应目前日益复杂和类型繁多的应用环境！传统存储管理架构的演进——LUN虚拟化架构RAIDDiSKComponentLUNRAIDDiSKRAIDDiSKComponentLUNComponentLUNMetaLUNHostLUNLUN虚拟化存储资源管理原理在LUN层之上的进一步虚拟化，将多个LUN虚拟化成一个虚拟的LUN，提供给应用虚拟LUN由多个Componentlun和一个对上透明的MetaLUN组成；虚拟LUN可基于多个ComponentLUN的条带化后创建；优势提高了并行性能，性能和容量扩展性大幅提高；ComponentLUN成为可配置的存储资源，配置更加灵活弹性劣势虚拟化基于特定存储介质，存储资源分层条件下，无法实现应用数据分层存储仍然无法实现对复杂应用的存储资源动态配置变革中——分散数据块存储资源管理架构DiskGourp3DiskGourp2DiskGourp1DiskGourp0LUN分散数据块存储资源管理原理存储资源被划分成系统可分配可管理的数据块；主机LUN被划分为数据块单位，称作分区，每个分区大小对应一个数据块；LUN分区后以数据块为单位分散存储在系统的多个磁盘组；LUN的分区数据块分散存储后，都在不同的磁盘组上做了复制副本；优势引入全局虚拟化思想，基于数据块的存储资源管理并行性能和扩展性大幅提高摆脱了传统RAID的弊端，磁盘故障后重建效率大幅提高分散数据块存储资源管理架构弊端SQL弊端一个热点应用

会影响其它所有的应用单一复杂应用的局部热点问题无法解决数据布局模式固定，没有策略选择没有针对特别应用的QoS保障大量的存储空间浪费不适合多应用IT环境！她从云中来云计算=服务模式={SaaS,Paas,IaaS)IT技术与方法云架构技术与方法虚拟化动态弹性自动化整合一堆IT物理设备将IT物理资源虚拟化成可统一管理的逻辑单元一切都是透明的虚拟化后形成统一资源平台平台上IT资源的调度配置都是动态的，弹性的，可分配可回收实现IT资源配置与应用需求的精确匹配这个不是靠人工，而是靠智能，否则前面一切没有意义宏杉ICMT智能块管理架构新增基于Cell的存储资源池（StoragePool）层，破除LUN与RAID、Disk之间的捆绑关系，在存储阵列内部形成完全的虚拟化架构RAIDDiSKLUN：数据逻辑载体Disk：数据物理载体LUNRAID：磁盘组织方式ICMT：IntelligentCellManagementTechnology智能数据块管理技术StoragePool:存储资源池，由不同存储介质和级别的RAID构成Cell:虚拟数据块，形象称之为“细胞”，其为构成存储资源系统可管理的基本单位而得名，对用户透明LUNLUN5RAIDDiskDiskLUNLUNDiskDiskDiskDisklDiskDiskStoragePoolRAIDRAIDRAIDDiskDisklDiskLUNLUNCellICMT虚拟化过程RAID5RAID0RAID10RAID1RAID5RAID0RAID10RAID1RAID5RAID5RAID10RAID1创建RAID1创建StoragePool2StoragePool中创建Cell3创建基于Cell的LUN4将存储资源池划分为1GB的Cell，Cell是ICMT存储资源配置单位ICMT的虚拟化架构存储池与Cell虚拟化RAID虚拟化存储LUN虚拟化SAS盘SSD盘SAS盘SATA盘LUN0LUN1Tier1:SSD存储Tier2:SAS存储Tier3:SATA存储SSDRAID5SASRAID10Tier1:SSD存储Tier2:SAS/FC存储Tier2:SATA存储StoragePool1SASRAID5SSDRAID10SASRAID5SATARAID5SATARAID5StoragePool0DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk…DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDisk…DiskDiskSSD盘SATA盘物理存储资源管理员用户服务器ICMT存储性能资源动态配置热数据块

极高访问频率暖数据块

一般访问频率以LUN为单位的存储资源管理问题冷数据块

极低访问频率LUN0LUN0LUN2LUN1初始规划：不用特别规划运行后状态：各取所需，最优配置LUN1LUN2Tier1:SSD存储Tier2:SAS/FC存储Tier3:SATA存储Tier1:SSD存储Tier2:SAS/FC存储Tier3:SATA存储StoragePoolStoragePool降级维持LUN0LUN0LUN1LUN2LUN2LUN1初始规划：运行后状态：Tie0:SSD存储Tie1:SAS/FC存储Tie2:SATA存储基于Cell的动态弹性存储资源配置管理实施迁移：LUN0LUN1升级LUN2存在性能瓶颈！存在性能瓶颈！存在资源浪费！ICMT的存储容量弹性配置实际分配500个Cell，共500GBLUN……数据增量部分，新增配置200个Cell实际分配300个Cell，共300GBLUN…规划700GB的LUN，应用可识别实际分配500个Cell，共500GBLUN……200GB空间，共200个Cell配置…系统智能识别数据增量，同步增配CellLUN规划700GB，但初次实际写入接近300GB1LUN经过一年，数据增量为200GB2LUN再经过一年，数据量增加200GB，增加200G的空间3…ICMT针对热点应用的存储资源QoS保证SQLTie0:SSD存储Tie1:SAS存储Tie2:SATA存储Tie0:SSD存储Tie1:SAS存储应用QoS随需弹性保证应用和StoragePool具有绑定关系，storagePool可灵活对应一个或多个应用；热点应用可单独创建storagepool，实现热点隔离，不构成对其它应用的干扰;可将闲置资源跨pool调配到热点应用的storagepool，热点应用的存储资源QoS能得以保证热点Pool0Pool1资源调配ICMT实现存储资源配置自动化1小时触发一次分析storagepool中每个cell按照热度从高到低排序排序以pool为单位；用户可手动干预排序，进行调控（微调）Cell的热度由最近的访问频率决定，其度量指标为最近时间内读写I/O个数；ICMT对Cell维护累积的I/O数目和时间权值；24小时内I/O的权值大，24小时前权值小ICMT优先将热度序列靠前CELL迁移到更高层需要下移的Cell除非所在层资源不够以优先充分利用高速存储资源为原则迁移分析统计自动化配置过程算法CDFAG统计BET0T1T2CELL累积I/O加权值A2000018000B100009000C1700016000D110009500E80007500F90008400G1200011000分析热度序列ACGDBFE迁移CDFAGBET0T1T2T1层资源够，E暂不下移Pool0Pool0ICMT存储资源管理自动化的实际价值现在ICMT能实现主动，自动和最优的资源配置管理存储管理员主机LUN1.主动探测2.信息反馈4.更新配置1.主动探测2.信息反馈4.更新配置周期TICMT3.容量/性能分析3.容量/性能分析应用应用主机LUN故障现象反馈或主动收集调整配置变化的容量和性能需求调整失败再次调整以往被动、手动、有风险的资源管理配置宏杉ICMT架构总结RAID之上基于Cell的存储资源池，彻底打破了传统串行资源管理架构，可实现存储资源统一配置LUN由Cell配置而成，实现了LUN的全局配置，对LUN的多类型资源和按需配置成为可能继承了传统分层架构和RAID可靠性优势，但比传统架构、LUN虚拟化资源配置效率更高，更智能；吸收了分散数据块的优势，比分散数据块架构更可靠，更智能架构特点

创新价值随应用需求，实现对性能、容量的动态弹性配置统计、分析、迁移智能过程实现自动化资源配置应用弹性QoS保证功能特性存储资源虚拟化动态弹性、自动化资源配置更先进，更智能！ICMT的应用——自动分层存储基于不断变化的需求自动移动和放置数据——将数据在恰当的时间放到合适的地方客户价值：获得应用需求和存储资源的最佳匹配，资源利用率提高的同时管理省心省力！第1层第2层第3层123456789101112时间点性能单I/O实例响应时间（毫秒）1-5毫秒并发响应时间（毫秒）<10读写优势高IOPS/GB，极高的读性能，小块并发读写性能高读写劣势大块顺序写性能一般，等同于第二层单I/O实例响应时间（毫秒）5并发响应时间（毫秒）10-50读写优势良好的顺序读写性能，比如顺序预读。并发读写性能较好，读写混合具有稳定的性能读写劣势写性能明显不如读性能，单应用响应时间（毫秒）7-10并发响应时间（毫秒）

100读写优势大块顺序读写效率还可以读写劣势低IOPS/GB，较大写负荷下响应时间长，并发读写性能差SSDSASSATA基于策略的可灵活定制的自动分层策略特点适用情况最优策略基于Cell的资源配置，尽力达到应用性能的最优状态，一旦某个Cell的读写统计超出或低于预设置的性能正门限或负门限，立即触发Cell层级迁移I/O密集型应用而且性能分布无规律性，追求应用性能最优保守策略基于Cell的资源配置，尽量减少Cell的分层迁移，只有某个Cell的读写统计持续超出或低于预设置的性能正门限或负门限，才会触发Cell层级迁移适用于非I/O密集型或者希望资源配置稳定为先的应用基于时间点策略同时基于Cell和时间计划的资源配置，按照时间点计划来触发若干Cell层级迁移适用于应用性能在时间分布上存在规律性的情况，按照时间点计划触发配置更新变化基于LUN策略基于LUN的资源配置，当某个LUN整体读写统计超出或低于预设置的性能正门限或负门限，触发这个LUN整体层级迁移适用于一个应用或者一个文件系统数据的分级存储迁移手动策略按照系统基于Cell的性能统计结果，手动进行Cell的层级迁移适用于专业IT管理人员，希望资源配置人工可控；ICMT自动分层方案VS传统分层方案设计分层策略获得每个LUN的性能分布和高峰测算每个LUN的存储性能需求规划各层资源的磁盘数量类型、RAID配置策略实现初始化磁盘、RAID和LUN创建暂时的LUN迁移LUN调整分层策略增减磁盘配置、改变RAID设置等优化LUN的存储位置性能提高了吗？NO一段时间遇性能瓶颈重做性能评估YES性能分析专门工具做性能统计日志回溯和分析统计结果输出分析阶段设计阶段实现阶段管理阶段一周2~4小时一天2~4小时Storagepool初始化设计创建RAID和规划storagepool按规划创建多个类型的storagepool2~4小时初始化配置创建RAID和storagepool创建LUN选择并设定分层策略2~4小时基于ICMT的自动分层处理传统分层方案步骤基于ICMT的自动分层方案步骤分层代价问题LUN0缓存LUN01.触发分层，源Cell向目标Cell同步数据新写入数据写入成功LUN0缓存2Cell同步数据过程中有新数据写入，先写入缓存，对应用性能无影响3

Cell迁移完毕，新写入数据由缓存刷写到目标Cell中Cell跃层过程来看，分层代价的因素为缓存大小和Cell同步时间1GbCell由15000rpm

SAS向SSD跃层的数据同步时间低于2秒1GbCell由7200rpmSATA向15000rpmSAS跃层的数据同步时间低于5秒MacroSAN的MS3000缓存能配置到64GB，MS5000缓存可配置到128GB以上Cell迁移全部在后台进行结论：Cell迁移分层代价极低，几乎不影响应用Cell跃层过程ICMT的应用——自动精简配置LUN虚拟化分配虚拟LUN给主机，实现存储按需扩容例如：主机看到500GB的空间，存储端实际只占用200GBLUN动态扩容LUN空间按策略自动增长扩容过程主机无需停机空间最大化利用，降低管理复杂度客户价值提高资源利用率，避免首次存储资源规划浪费已分配，被使用已分配，未使用普通LUN500GB200GB自动精简配置LUN500GB200GB未分配已分配，被使用1