HC1209204 第四章 大数据存储系统部署与管理2.0

修订记录课程编码适用产品产品版本课程版本ISSUEHC1209204OceanStor9000V1R1C00V2.0开发/优化者时间审核人开发类型（新开发/优化）张博2013-09-20余雷新开发本页不打印HC1209204

大数据存储系统部署与管理

目标学完本课程后，您将能够:描述大数据存储硬件组成和软件特性掌握9000系统典型组网掌握9000软硬件安装熟悉NFS和CIFS配置部署熟悉Info系列特性原理与配置

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性大数据存储OceanStor9000介绍大数据存储特点弹性空间卓越性能简化管理高可靠性应用场景广电媒资高性能计算大型企业数据中心互联网运营P节点机柜C节点机柜OceanStor9000硬件节点2U设备12个数据硬盘槽位（3.5“盘）标配：2路4核CPU，32G内存，12*2TBSATA盘（数据盘）前视图后视图Mini-Capacitynode——小容量应用场景OceanStor9000家族硬件Performancenode——OPS密集型应用场景2U设备25个硬盘槽位（2.5“盘）标配：2路6核CPU，48G内存，支持SSD、SAS盘，按需配置前视图后视图OceanStor9000家族硬件Capacitynode——大容量应用场景4U设备36个硬盘槽位（3.5“盘）标配：2路6核CPU，48G内存支持SSD、NLSAS、SATA盘，按需配置前视图后视图

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性硬件组件M节点（2U）10GE交换机C节点（4U）GE交换机IB交换机类型可选型号说明存储节点M节点2U存储节点P节点2U存储节点C节点4U存储节点网络设备CE6850-48S4Q-EI10GE以太网交换机S5700-52C-SIGE以太网交换机S5352C-SIGE以太网交换机IS5023IB（InfiniBand）交换机8口KVM控制器提供8路键盘、鼠标和视频端口P节点（2U）Mini-Capacitynode，支持小容量应用场景M节点硬件形态高度2U最大功耗526.6WCPU2×IntelE524034核1.8GHz内存24GB~96GB，32GB操作系统硬盘2×300GB10Krpm2.5寸SAS(RAID1)P节点形态1机框2电源模块3主控板插框4业务硬盘模块5业务硬盘背板--P节点端口4PCI-E扩展插槽5SAS卡6GE网口7IPMI管理网口8USB端口9系统串口10VGA端口11系统告警指示灯12系统定位指示灯18硬盘告警/定位指示灯2010GESFP+以太网光接口C节点形态1机框2电源模块3主控板插框4业务硬盘模块5业务硬盘背板6风扇模块C节点端口4PCI-E扩展插槽5SAS卡6GE网口7IPMI管理网口8USB端口9系统串口10VGA端口2010GESFP+以太网光接口附：硬件特性参考型号P节点C节点系统架构全对称分布式架构节点数3～288CPU/节点2×IntelE5系列缓存/节点标配48GB，可扩展至192GB硬盘类型数据盘支持2.5寸SSD、SAS硬盘（根据客户实际性能需求，可调整SSD/HD的配比）数据盘支持3.5寸SSD、SATA、NLSAS硬盘（根据客户实际性能需求，可调整SSD/HD的配比）硬盘数/节点标配4×2.5"200GSSD+21×2.5"600GSAS标配1×3.5"200GSSD+35×3.5"4TBSATA前端网络10GEEthernet或40GEInfiniband或1GEEthernet内部互联10GEEthernet或40GEInfiniband或1GEEthernet应用场景OPS密集型应用场景高带宽应用场景

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性9000系统组成系统服务交互Page18Info系列软件InfoEqualizerInfoAllocatorInfoTier123集群负载均衡软件多种负载策略支持可选软件，单独购买license配额管理,可对目录或用户进行空间限制可选软件，单独购买license自动分级存储基于策略的自动迁移可选软件，单独购买licenseWushanFSWushanFS：WushanFileSystemWushanFS4WushanFS：分布式文件系统InfoDataProtection高可靠数据保护单一文件系统统一文件系统命名空间应用服务器WushanFS按需扩展3-288节点线性扩展60秒之内完成单节点扩容无需人为干预，无需任何改动应用服务器智能负载均衡nodenodenodenodeOceanStor9000InfoEqualizerInfoEqualizerInfoEqualizerInfoEqualizerWushanFS01234智能负载均衡负载均衡实现过程：1、访问系统一级/二级域名,如：2、OceanStor9000对域名进行解析，根据负载策略，返回IP地址3、业务请求nodenodenodenodenodenodeZone1：基于CPU使用情况二级域名：Zone2：基于网络连接数二级域名：WushanFS①②③NFSClient热数据冷数据普通数据Tier2高OPS节点Tier3高带宽节点Tier1SSD分级存储不同节点的分级满足了用户不同的需求，满足用户既需要高性能访问也需要大带宽存储的矛盾。允许用户把自行规划自己的业务，把对自己的业务进行分级，把某些重要的业务放在性能较高的节点上。高效全局缓存1storageCPUMemorystorageCPUMemorystorageCPUMemory全局缓存ABC应用服务器nodenodenodeWushanFS高效全局缓存2利用分布式锁，实现全局缓存同一数据块所在节点的缓存只缓存一份任意节点缓存中的数据都能被其他节点访问时在缓存中命中NodeANode

BNodeCstorageCPUMemorystorageCPUMemorystorageCPUMemory应用服务器WushanFS服务器向NodeC申请锁③LOCK②返回锁在NodeA已经申请①从NodeA缓存中读取数据统一资源管理支持目录配额、用户配额、用户组配额支持基于NFS/CIFS的软硬配额软配额生效时间可以在创建配额时设置以小时为单位；硬配额立即生效支持嵌套的配额设置，最多嵌套8层天然支持自动精简配置，实现超额配置100TB20TB用户30TB用户组40TB用户组10TB用户20TB用户10TB用户NFS/CIFS集群CIFS/NFSSERVER采用集群部署形式CIFS/NFSSERVER部署在各个存储服务器上，是分布式、全对称集群架构附：软件特性参考型号P节点C节点数据保护级别N+1，N+2，N+3，N+4文件系统Wushan分布式文件系统支持全局命名空间，可动态扩展，最大40PB增值特性动态分级存储(InfoTier)/客户端连接自动负载均衡(InfoEqualizer)/空间配额管理(InfoAllocator)自动精简配置支持自动精简配置，无需配置数据自愈数据自动化并行快速恢复，最高恢复速度达1TB/Hr系统扩展“一键式”在线扩展，单节点扩展小于60秒全局缓存支持全局缓存，最大可支持55TB支持的操作系统Windows，Linux，MacOS协议支持NFS，CIFS，NIS，MicrosoftActiveDirectory，LDAP，SNMP免及时维护系统自动坏盘率检测及告警通知，坏盘可批量集中更换，无须即时更换，减少人力维护

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性后端IB，前端10GE组网前后端全GE组网前端GE后端10GE组网10GEIBIB交换机10GE交换机（客户提供）GE交换机管理服务器应用服务器900010GE交换机GE交换机（客户提供）GE交换机管理服务器应用服务器9000GE交换机GE交换机（客户提供）GE交换机管理服务器应用服务器90009000典型组网方式1GE后端网络前端网络10GE1GE推荐组网IB10GEGEGE前端GE后端10GE典型组网组网介绍：10GE后端存储互联1GE前端业务互联1GE管理网络IB组网组网介绍：40GEIB后端存储互联10GE前端业务互联1GE管理网络GE组网组网介绍：1GE后端存储互联1GE前端业务互联1GE管理网络P节点端口10GE互联组件10GE交换机CE6850-48S4Q-EI40G互联组件IB交换机IS50231GE互联组件GE交换机S5700-52C-SI/S5352C-SI组网连接举例客户交换机IP地址规划1段类型网段属性组网类型aIP地址数目建议前端业务网段为向存储节点存取文件的网络10GE组网节点数量×6+12个接口IP地址4个预留作为InfoEqualizer的动态前端IP地址InfoEqualizerDNSIP地址1个（不论是否购买InfoEqualizer特性License均需要）IB组网节点数量×6+1GE组网节点数量×6+22个接口IP地址4个预留作为InfoEqualizer的动态前端IP地址InfoEqualizerDNSIP地址1个（不论是否购买InfoEqualizer特性License均需要）4.管理IP地址1个a：OceanStor9000的组网类型以后端存储网络交换机的类型区分,如后端存储网络交换机采用10GE交换机，则称此OceanStor9000组网为10GE组网。IP地址规划2网段类型网段属性组网类型aIP地址数目备注管理网段系统管理控制网络10GE组网节点数量+管理网络交换机数量+2存储节点IPMI接口分配1个每台管理网络交换机分配1个，OceanStor9000管理IP地址1个，后端存储网络交换机1个IB组网节点数量+管理网络交换机数量+1GE组网节点数量+后端存储网络与管理网络交换机总数量/2每个存储节点IPMI接口分配1个，每2台后端存储网络与管理网络交换机分配1个后端存储网段存储节点间通信网络10GE组网节点数量×3每个存储节点分配2-3个，软件安装时通过DHCP分配临时IP地址时每个存储节点再分配1个。IB组网节点数量×3GE组网节点数量×2IP地址规划举例--10GE组网网络配置--10GE交换机配置管理网络交换机采用S5752/S5353后端存储网络交换机通常两台，存储节点小于等于32是，采用CE6850网络配置--IB交换机配置管采用两台理网络交换机为S5752/S5352后端存储网络交换机数量为2台，存储节点小于等于16台时，采用2台IS5023存储节点数量大于16时，采用更高端型号。网络配置--GE交换机配置后端存储网络与管理网络通过交换机内的VLAN隔离后端存储网络与管理网络交换机采用一对S5752/S5352

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接硬件安装与软件安装文件系统NFS和CIFS共享配置高级特性9000硬件安装流设备上下电与开关设备上电顺序各设备电源开关S5700-52C-SI/S5352C-SICE6850-48S4Q-EIP节点C节点系统上电后状态110GE交换机CE6850-48S4Q-EIC节点的指示灯与P节点的指示灯完全相同，此处以P节点为例。P节点（2U）系统上电后状态1InfiniBand交换机IS5023GE交换机S5700-52C-SI/S5352C-SI9000系统软件安装软件安装流程1安装流程2软件与工具准备准备项目说明软件包OceanStorISM-NV100R00xC0x.tar.gzOceanStor9000部署工具APP_OceanStor9000_V100R00xC0x.tar.gzOceanStor9000系统软件mysql-x.x.xx.msi、ISM-NV100R001Cxx.zip可选报表工具工具FTP文件上传工具，如FileZilla用于上传文件到存储节点。如采用FileZilla，仅需客户端版本，无需Server版本。SSHClient软件，如PuTTY远程访问工具线缆一根网线连接PC到存储设备管理网口。一根RS-232串口线缆连接PC到存储设备串口软件安装前检查1置项要求检查方法不符合要求时的处理措施存储节点a操作系统SUSELinuxEnterpriseServer11(x86_64)SP1通过KVM登录存储节点执行命令cat/etc/SuSE-release安装符合版本要求的操作系统，或联系技术服务支持工程师预装部署代理程序参见《OceanStor9000版本说明书》通过KVM登录存储节点执行命令rpm-qa|grepdeploy执行升级存储节点中预装的部署代理程序安装PC操作系统Windows7及以上版本，且已关闭防火墙--Web浏览器InternetExplorer8及以上版本，或Firefox11及以上版本--a：首次安装时，您可以只抽检1～3个存储节点安装前检查—控制台要求2置项要求检查方法不符合要求时的处理（可选）OceanStorSystemReporter报表服务器操作系统WindowsServer2008R2EnterpriseSP164位--Web浏览器InternetExplorer8及以上版本，或Firefox11及以上版本--TCP端口下列TCP端口未被占用：44380330610091961690029003在Windows命令行窗口中执行命令netstat-ano查看当前端口占用情况。停止或卸载对应服务。如果443或80端口已被占用，且不便通过上述方法规避，则可在软件安装过程中手工更改为使用其他端口。部署工具安装—设置部署IP地址部署工具安装上传后安装成功后登录通过部署工具部署9000系统（1）12通过部署工具部署9000系统（2）配置文件举例1—10GE网络配置文件举例2—10GE网络配置文件举例2—10GE网络通过部署工具部署9000系统（3）登录9000存储系统4213附：9000系统登录信息系统入口地址默认账号/密码备注OceanStorToolkithttps://xx.xx.xx.xx:8088/toolsadmin/Admin@storage完成安装OceanStorToolkit后可登录OceanStorDeviceManagerhttps://xx.xx.xx.xx:8088/webui其中，“xx.xx.xx.xx”表示基础柜中最下方存储节点NIC0接口的IP地址。此IP地址为验证时临时使用。软件安装完成后，请以配置文件中的“管理IP”代替。admin/Admin@storage完成使用OceanStorToolkit批量部署OceanStor9000软件后可登录存储节点IPMIhttps://xx.xx.xx.xx。其中，“xx.xx.xx.xx”表示存储节点IPMI接口的IP地址。admin/Admin@storage-存储节点Linux操作系统-root/Root@storage通过KVM登录存储节点或通过PuTTY远程登录存储节点安装后检查

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性CIFS/NFS文件共享基本特性同时支持CIFS和NFS协议兼容多种操作系统，可以实现异构网络环境下的文件资源共享CIFS/NFS共享的单位是目录，所共享的目录可被多个客户端访问以集群方式对外提供共享服务，节点间可相互监控服务状态可根据业务和节点状态实现负载均衡，数据访问在集群内均匀分布NFS支持V3，V4协议SMB支持V1.0，V2.0CIFS支持的认证方式本地用户认证由OceanStor9000本地进行接入认证，允许规划的本地用户/用户组接入。当启用了Guest用户接入权限后，允许用户匿名访问共享目录，即用户无需输入用户名和密码即可接入OceanStor9000AD（ActiveDirectory）域用户认证用户网络中配置AD域服务器，由AD域服务器进行接入认证，允许合法的AD域用户接入CIFS共享实现过程添加本地认证用户组与用户（可选）123B3121234512345加入域（可选）先通过OceanStorDeviceManager登录系统域环境下，需要先将OceanStor9000加入域环境11234设置CIFS服务参数创建目录121212共享目录11C1123共享目录22531234共享目录36512共享目录4758123421共享目录5912访问共享目录1121212访问共享目录24122331NFS共享概述9000加入LDAP域（可选）111212439000加入NIS域（可选）1234创建FS目录13C42NFS共享目录的权限管理共享FS1232OceanStor9000对外提供访问的文件共享目录1共享FS31423共享FS52C26C3312451共享FS871Linux客户端访问共享表明已挂载成功。

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性7.1InfoTier7.2InfoAllocator7.3InfoEqualizer技术InfoTier特性InfoTier特性包括的主要功能如下：存储级别：在OceanStor9000内部根据节点类型和硬盘类型对硬盘分级，相同等级的硬盘组成一个存储级别。高低水位策略：高低水位是指存储级别中空闲空间占用硬盘存储总容量的百分比，OceanStor9000通过设置全局统一的高低水位，限制每个存储级别中的文件迁移，避免硬盘存储容量不足造成的故障。文件池策略：通过设置文件属性与各个存储级别间的对应关系，定义文件在不同存储级别中存储和迁移的策略。InfoTier原理与概念2节点池具有某一相同物理特征的节点集合系统自动根据物理节点形成节点池不允许手工调整节点池使用节点池的前提点池内至少有3个正常工作的节点节点池的分类高性能节点池高带宽节点池InfoTier原理与概念3文件池具有共同特征的文件集合各个特征之间是“与”的关系同一个文件可以属于多个文件池文件池策略文件池如何在节点池存放的规则文件池策略具有优先级购买license才允许配置文件池策略的使用系统中最多可配置128条文件池策略文件对应的最高优先级的文件池策略才会生效InfoTier原理与概念4高低水位节点池中空闲空间占用总空间的百分比可在ISM上配置，对所有节点池生效高水位默认为10%，低水位默认为5%高低水位使用场景处于低水位以下时，禁止文件写入/迁入该节点池恢复到高水位时，才允许文件迁入该节点池处于低水位以上时，允许文件写入该节点池文件初始存放匹配文件池策略只匹配文件池特征包含且仅包含文件路径的文件池策略如果同时匹配到多个文件池策略，选择优先级最高的通过文件池策略确定存放的节点池；如未匹配到，选择空闲空间最大的确定节点池查询对应的节点池当前空闲容量高于低水位，使用该节点池低于低水位，使用系统中空闲空间最大的节点池节点池全部处于低水位以下，拒绝该文件的写入文件迁移迁移扫描扫描起始和结束时间可配置，缺省关闭扫描读取系统内文件的属性，得到文件当前所在的节点池匹配系统内的文件池策略，确定文件的目标节点池判断文件是否需要迁移，生成迁移任务文件迁移逐chunk进行迁移在迁移过程中，不影响文件的正常读写迁移前后，文件的保护级别不会降低目标文件池空闲空间高于低水位InfoTier的配置配置之前的准备工作确认是否购买了license是否存在不同类型的节点，且每种类型的节点至少3个配置规划文件初始存放位置有明确规划的按照路径配置文件池策略无明确规划的不配置对应的文件池策略，由系统自动分配文件后期存放位置确定节点池对应文件应具有的属性：热度，存放路径根据文件的属性配置对应的文件池策略InfoTier的配置流程高低水位的配置参数名称参数说明高水位通过高水位阈值定义存储分级空闲容量超过规定数值后，是否可以恢复数据写入或迁入操作。低水位通过低水位阈值定义数据是否可以初次写入或迁入指定的存储分级。扫描时间配置参数名称参数说明起始时间扫描节点时，从监控模块读取文件池策略、文件扫描起始时间和结束时间，到达起始时间时系统自动启动扫描结束时间扫描节点时，从监控模块读取文件池策略、文件扫描起始时间和结束时间，到达结束时间时无论扫描是否全部完成系统均强制停止扫描操作文件池策略的配置参数名称参数说明名称通过文件池策略的名称标识不同的文件属性扫描规则。分级通过级别定义每个文件池策略对应的存储分级。件名通过定义文件名称中具有代表意义的部分，指定具有相同属性文件的存储策略。文件路径通过合理规划文件系统目录结构，定义特定路径对应的存储级别。文件大小通过文件大小定义对应的存储级别修改时间通过文件最近一次修改时间与当前时间的间隔定义对应的存储级别创建时间通过文件创建时间与当前时间的间隔定义对应的存储级别最后一次访问时间通过文件最近一次访问时间与当前时间的间隔定义对应的存储级别I/O次数通过监控在统计周期内对文件的访问次数定义对应的存储级别I/O热度通过监控在统计周期内对文件的访问热度定义对应的存储级别

目录大数据存储OceanStor9000简介系统硬件系统软件组网与连接软硬件安装文件系统NFS和CIFS共享配置高级特性7.1InfoTier7.2InfoAllocator7.3InfoEqualizer技术InfoAllocator技术背景配额技术是一种基于用户、用户组文件存储管理还支持目录的配额管理使得管理员可以方便合理地分配存储资源该功能受License控制InfoAllocator原理以用户和用户组统计在特定目录下的文件占用空间在内核文件子系统上实现根据文件读写创建请求分析出本次操作受影响的配额控制项逐项进行配额的门限值比较，根据门限值允许或禁止本次文件操作如果受影响的所有配额控制项允许，请求继续进行，并更新受影响的配额项只要其中一项不允许则返回失败InfoAllocator类型配额类型计算配额：只监控存储空间使用情况不限制使用强制配额：监控存储空间使用情况的同时限制存储空间的使用阀值类型阈值类型说明建议阈值当存储空间到达建议阈值时，OceanStor9000不会限制数据写入，仅上报告警信息。软性阈值当存储空间到达软性阈值时，在宽限时间内OceanStor9000继续允许数据写入，超期后OceanStor9000立即限制数据写入，同时上报告警信息。配置软性阈值时，可同时配置宽限时间。硬性阈值当存储空间达到硬性阈值时，OceanStor9000立即限制数据写入，同时上报告警信息。配额项InfoAllocator配置流程配额类型和阀值类型参数名称参数说明配额路径待创建配额的目录。可以直接输入待创建配额的目录名称，也可以单击“选择”，从已经创建的目录中选择配额路径。位置待创建配额的用户/用户组位置用户/用户组待创建配额的用户/用户组名称