EMC DMX存储的物理架构与逻辑架构.docx

EMC DMX存储的物理架构与逻辑架构一. DMX存储 概述DMX存储硬件的物理与逻辑架构 能够实现最大限度的将 一个lun 的io 最大限度分摊给硬盘,DAE盘阵的环路; 一个lun 的io 同时也平均分摊给后端的存储cpu . 从后面文档设备连接的介绍可以知晓. DMX的架构做到了最大限度的打散数据 以达到性能最大化;性能最大化的硬件配置是一个控制柜加两个与控制柜存储cpu端口直连的磁盘柜; 存储卷 vol 以及 4个vol meta(绑定) 条带化以后 就避免了热点(hot block) 读写的问题. 将任何一个lun的读写 io 操作 做到由 最多的硬件资源来支撑. 硬件资源 主要是 硬盘,DAE盘阵环路,存储cpu,存储缓存.DMX存储安装配置是通过加载 预先配置好的bin file 来部署的; bin file 定义了物理架构与逻辑架构的配置 定义整个存储当前硬件配置如何被使用 规划好,以后修改配置就得 重新装载 bin file 也就是重新配置整个存储.Bin file的加载以及整个存储的管理 通过console服务器上的软件symmwin来操作,console服务器通过电话线 moden 与 EMC 支持中心连通. EMC技术人员通过电话线的拨号拨入方式可以做到完全掌控存储设备.本文档关注存储设备架构方面,管理方面的gk盘,ecc等不做赘述.二. EMC DMX 存储 的物理架构1. 存储外观及各个模块介绍(1) 外观DMX由一个控制柜加磁盘柜组成, 通常带2个或者5个磁盘柜我们公司为了性能最大化,配置满配的前端后端卡,只挂2个磁盘柜.再扩展磁盘机柜只增加空间,性能不增长.前视图:中间系统柜,左边是BAY 1A;右边是 BAY 1B(2) 物理构成模块图示: (打开机柜门 前视图)2. 存储后端接线连接以及磁盘环路l DA卡cpu端口 与 硬盘 的连线 图示:这里的图示是端口所管理的硬盘,是指硬盘的主环路(BUS loop),实际情况物理联线只连接到DAE 的 LCC A & LCC B 端口. 每个DA卡管理2个DAE盘阵,同时每个盘阵归两个不同DA卡的端口管理;能互相接管对方环路的硬盘,也就是互为standby 环路.l DA卡cpu 与 DAE盘柜 的对应关系 1. DA01,DA16 管理BAY 1A 的 DAE1 到 DAE8;DA02,DA15; 管理BAY 1A 的 DAE9 到 DAE16;DA05,DA12; 管理BAY 1B 的 DAE1 到 DAE8;DA06,DA11; 管理BAY 1B 的 DAE9 到 DAE16;按照这个接线规律管理DAE盘阵.也就是说 每个DA卡有4个cpu,每个cpu两个端口;一个cpu端口管理一个DAE盘阵的一半的硬盘(7或8块),另外一半的硬盘standby模式,也可以接管.(下面两张图可以描述这种物理连接关系)l DA卡cpu 端口 与 DAE盘柜 的对应关系(接线规律)1. CPU 从a到d 按照从左到右的连接顺序连DAE盘阵;2. 下面一排的DAE都是被cpu两个端口中的 0端口管理; 上面则接 1端口;(这是接线的规律)三. EMC DMX 存储 的逻辑架构l 存储最小的可用单元是cylinder (每个cylinder 960k) ; l 每个cyln 由 15个64k 的块组成. l 每个硬盘以cyln为单位划分成n 个hyper(也叫切片)l 以 DA02 D1:05 (DA卡2，D cpu port 1口管理的 DAE ID 5硬盘为例) 1. DA02 D1:05 硬盘被切成了 14块,前面 9块 都是 16570 cyln 的大小的数据空间, 后面5块是 3 cyln 的 管理用的GK盘.2. 然后以16570 cyln为单位的 15GB(16570*960k/1024)大小的 hyper 来与其他硬盘里面的同样是 16570 cyln 的 hyper 来做镜像 成为一个卷(vol). 大多数情况下 某个硬盘里面的数据(vol) 与另外一个硬盘的数据一摸一样. 3. 看如下图示: 镜像1 是M1, 镜像2 是M2. 互相交叉. 后面的 6,7,8 都是同样情况,两块硬盘数据一样,镜像1 镜像2 交叉放.4. 卷 volume 分配给主机的时候都是连续地分配出去, 而如下图两个硬盘里面的vol 都是不顺序的,是打散的,这样就打散了主机对存储读写的io.DA02 D1:05DA02 D1:05DA15 D1:06DA01 D1:06DA02 D1:07DA16 D1:07DA15 D1:08DA01 D1:085. 当前dmx系统都是每个卷 Volume 由4个小卷 meta 条带化; 如下图示: 每个卷 底层都是由8个硬盘来支持,并且由八个cpu通道来支持,因为八个硬盘都算来自不同的硬盘DAE盘阵,能达到最佳的IOPS.dmx系统只将MetaPosition 0 的卷名(meta位置0的) 映射给主机,一个卷也就是作为一个lun来使用. 这里举例的情况是 两个hyper先镜像,然后4个hyper条带; 做好后是 15GB*4=60GB的Lun大小.卷05EB是DA02 D1:05 硬盘的第一个hyper;6. 主机端查看分配的 lun的volume 信息l 用powerpath工具powermt 看 Logical device ID 例如:Pseudo name=emcpowerbdSymmetrix ID=000290105785Logical device ID=05EBstate=alive; policy=SymmOpt; priority=0; queued-IOs=0= - Host - - Stor - - I/O Path - - Stats -# HW Path I/O Paths Interf. Mode State Q-IOs Errors= 2 qla2xxx sdbq FA 14dA active alive 0 0 3 qla2xxx sdev FA 13dA active alive 0 0 3 qla2xxx sdgo FA 14dA active alive 0 0 4 qla2xxx sdjt FA 3dA active alive 0 0 4 qla2xxx sdlm FA 4dA active alive 0 0 5 qla2xxx sdor FA 3