H3CSE-Server【H3C认证服务器高级工程师】培训_第1页
H3CSE-Server【H3C认证服务器高级工程师】培训_第2页
H3CSE-Server【H3C认证服务器高级工程师】培训_第3页
H3CSE-Server【H3C认证服务器高级工程师】培训_第4页
H3CSE-Server【H3C认证服务器高级工程师】培训_第5页
已阅读5页,还剩385页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

CMBS-0100-001PH3CCMBS-0100-001PH3C刀片系统产品介绍配置和管理H3C刀片系统V1.0引入\h\h课程目标学习完本课程,您应该能够: 了解刀片服务器的硬件架构了解刀片服务器的集中管理掌握刀片服务器的维护与故障诊断\h\h目录01H3C自研刀箱产品概述02刀箱基本组件模块介绍03刀箱交换网板介绍04刀片服务器介绍05刀箱各组件安装规则汇总\h\hH3C刀箱服务器介绍H3C刀箱服务器介绍H3CB16000/UIS9000是新华三技术有限公司自主研发的新一代融合IT基础设施平台,集计算、存储、交换、管理、多业务扩展功能于一体,专为数据中心、云计算、虚拟化、高性能计算HPC等场景而设计。\h\hH3C刀箱服务器特点H3C刀箱服务器特点融合架构集计算、网络、存储、多重管理于一体支持资源池化丰富的管理支持集中式设备管理,统一监管系统中的所有部件;支持多框级联集中管理,方便客户运维,大大降低管理组网的复杂度和成本;支持可选的AE引擎模块,快速完成系统部署等任务。

高可靠性无源背板;所有核心模块均支持N+1或N+N备份;支持链路聚合及系统级设备堆叠,提供多种模式的可靠性保证及应用模式选项;灵活扩展Intel及;背板设计预留了丰富的可扩展接口;\h\hH3CB16000/UISH3CB16000/UIS9000区别UniServerB16000和UIS9000是同一个产品包装的两种形态ITUniServerB16000UIS9000除部分交付件规格不同外,大部分交付件实际是一样的东西,仅仅是名字不同。本文主要介绍B16000。IT产品面膜丝印IT产品面膜丝印云计算产品面膜丝印主机UniserverB16000UIS90002P半宽节点B5700G3UISB460G32P全宽存储节点B5800G3UISB580G34P全宽节点B7800G3UISB780G3管理模块OM100OM100以太网交换机BX720EHN720E融合网路交换机BX720EFHN720EFFC交换机BX608FEHN608FEAE模块AE100UISM100两种产品线的产品,不可以混插,否则会报错\h\hH3CB16000/UISH3CB16000/UIS9000刀箱配置对比机型B16000UIS9000CTO编码0106A01Y0106A021机箱高度12U管理板支持2个管理板OM100(每个管理板带2个千兆电口+1个级联口+1个管理口)刀片服务器/计算节点2P半宽节点:B5700G32P半宽节点:UISB460G32P全宽节点:B5800G32P全宽节点:UISB580G34P全宽节点:B7800G34P全宽节点:UISB780G3互联交换机模块以太网交换机BX720E:16个10GE+4个40GE以太网交换机HN720E:16个10GE+4个40GE融合交换机BX720EF:16个10GE口(其中前面8个可切换成FC16G口)+4个40GE融合交换机HN720EF:16个10GE口(其中前面8个可切换成FC16G口)+4个40GEFC交换机BX608FE:8个16GFCFC交换机HN608FE:8个16GFC存储控制器包含直通卡,以及高性能HBA或RAID控制器风扇起配8个,最大可配备12个。风扇支持N+1冗余。电源支持3000w电源模块,支持N+1冗余、N+N冗余。LCD模块支持1个LCD模块App引擎每机框最大可配置2个AE引擎\h\hH3C刀箱服务器前视图H3C刀箱服务器前视图 编号说明编号说明备注1刀片服务器安装区域1机箱被3个不可拆卸隔板分为4个区域每个区域内有1个可拆卸的竖直隔板每个区域支持任意一种刀片服务器2刀片服务器安装区域23刀片服务器安装区域34刀片服务器安装区域45不可拆卸隔板(3个)6可拆卸竖置隔板(4个)7E1槽位,支持AE模块或LCD模块/8E2槽位,支持AE模块/\h\hH3C刀箱服务器后视图H3C刀箱服务器后视图 编号名称编号名称1OM模块槽位1~OM模块槽位22电源模块槽位1~电源模块槽位63风扇模块槽位1~风扇模块槽位124互联模块槽位1~互联模块槽位65抽拉式标签6接地端子\h\hH3CH3CAE100机箱正面风扇电源机箱背面AE100机箱正面风扇电源机箱背面LCD液晶显示屏OMOM管理板\h\hH3CH3C刀片服务器&JBOD2路半宽2路全宽4路全宽HDDBayB5700G3B5700G3B5800G3B7800G3D40S(JBOD)B5700G5备注:刀箱中B5700G5允许跟G3节点混插。\h\hH3CH3C交换机以太融合FC/SASIBBX720E以太网交换机BX1010EBX720E以太网交换机BX1010EBT1004E16*25GBX720EF融合网络交换机BX1020EF25G融合交换机BX608FE16GFC交换机BT716F以太网直通互联模块BX500SSAS交换机BX1020BIB交换机备注:BX系列为交换机,BT系列为直通模块,不具备交换功能\h\hH3C刀箱服务器MEZZ夹层卡Mezz卡以太融合FC/SASIBETH561i4x10GETH640i2x25GETH681i2x25G ETH561i4x10GETH640i2x25GETH681i2x25GETH521i4x10GETH522i2x10GETH682i2x25GFC680i2x16GFCFC730i2x32GFCP5408-MaLSI8x12GSASP4408-MaPMC8x12GSAS2xIBEDRIB1040i\h\hH3C刀箱服务器存储控制卡存储控制卡直通HBARaidPTH104-Mf4端口SATA直通PTH104-Mf4端口SATA直通PTH108-Mf8端口SATA直通LSI8端口SASH5408-MfP5408-MfLSI8端口SASP2404-MfPMC4端口SASP4408-MfPMC8端口SAS\h\h目录01H3C自研刀箱产品概述02刀箱基本组件模块介绍03刀箱交换网板介绍04刀片服务器介绍05刀箱各组件安装规则汇总\h\h风扇模块介绍风扇模块介绍机箱最多可以安装128于等于4时,需配置884时,需满配12个风扇模块。支持N+1冗余。风扇模块支持热插拔。\h\h电源模块介绍电源模块介绍6和冗余模式。电源模块支持热插拔。\h\h刀箱各组件的最大功率刀箱各组件的最大功率模块类型模块型号最大功耗刀片服务器H3CUniServerB5700G3750WH3CUniServerB7800G31400WAE模块H3CUniseverAE10060WLCD模块SID-LCD-B5WOM模块H3CUniseverOM10030W互联模块H3CUniServerBX720E90WH3CUniServerBX720EF110W风扇模块FAN-L-B80W说明:表格中是机箱各模块的最大功耗。实际使用中,各模块的真实功耗和具体配置相关(比如配置几个CPU、几个硬盘),请以实际情况为准。\h\h管理板组件介绍管理板组件介绍AE级智能调速。\h\h管理板面板介绍管理板面板介绍 序号接口名称序号接口名称类型数量说明110GE光口SFP+2OM模块业务平面的接口2GE电口RJ-452OM模块业务平面的接口3级联端口STACKRJ-451用于机箱级联4管理端口MGMTRJ-451用于机箱管理5Console口RJ-451用于OM模块调试系统或远程管理6USB3.0接口标准USB3.01-\h\hH3C刀箱服务器管理板介绍H3C刀箱服务器管理板介绍Blade1BMC内部GEBlade1BMC内部GE交换Blade2 BMCPower1 Power2…… BMCI2CI2CPower3 Power4Blade15BMCOM1I2CPower5 Power6Blade16BMCTTLAE1 BMCLCD主备心跳线AE2 BMCTTLICM1 AMCFan1 Fan2Fan3 Fan4I2C……OM2AMCI2CFan5 Fan6I2CICM4AMCFan7 Fan8Fan9 Fan10……AMCFan11 Fan12ICM6AMC两个OM模块通过内部互联形成主备。OM模块通过内部GE管理平面,分别连接到刀片服务器的BMC、AE模块的BMC、互联模块的AMCOM模块通过TTL串口和LCD模块进行通信,并同步信息。OM模块通过内部I2C总线对电源、风扇进行管理。每个OM模块对外出1个管理端口(MGMT)、1个级联端口(STACK)和4片服务器连接到外部网络。\h\hAE模块介绍AE模块介绍AE模块是一款在AE模块上部署了IntelligentScalable快速智能可扩展工具集)管理软件的产品。通过AE模块支持对机箱、交换机、通用AE模块进行管理,且支持为AE模块配置RAID,配置BIOS装操作系统。B16000 安装FISTUIS9000——安装UIS6.0(CAS+ONEStor)\h\hAE模块面板介绍AE模块面板介绍 序号含义序号含义1扳手2扳手解锁按钮3开机/待机按钮和系统电源指示灯4板载千兆网卡指示灯)5Health指示灯6UID按钮/指示灯7SUV连接器\h\hAE模块安装位置AE模块安装位置AE/UISM持2块,配置在E1/E2槽位多个AE模块暂无Cluster机制,后期版本会支持\h\hLCD显示屏模块介绍LCD显示屏模块介绍LCD提供可视化的图形界面和系统状态检视和控制菜单:检查和设置机箱的基本功能,如基本信息、网络信息、电源和电源冗余等功能的设置。LCD屏幕为内嵌式,可90°LCD屏幕为内嵌式,可90°翻转,需要打开时,按蓝色弹出按钮常用图标含义常用图标含义返回按钮,单击可以返回上级页面翻页按钮,单击可以向上翻页翻页按钮,单击可以向下翻页返回按钮,单击可以返回首页\h\hLCD模块安装位置LCD模块安装位置机箱最多可以安装1个LCD模块,支持热插拔,只能安装在E1槽位\h\hE1/E2槽位背板走线E1/E2槽位背板走线TTLTTL串口1*1GE管理板11*1GE管理板2E1/E2槽位TTL串口1*10GE1*10GE网板141、与APP引擎背板有连线的是管理板、槽位1和槽位4的网板2、E1号槽可以使用APP一条TTL串口通路\h\h目录01H3C自研刀箱产品概述02刀箱基本组件模块介绍03刀箱交换网板介绍04刀片服务器介绍05刀箱各组件安装规则汇总\h\h互联模块介绍机箱支持满配6个互联模块成三对(1/4,2/5,3/6)模块配置成主备\h\hH3CUniServerB16000交换机产品组合BT1004E16*25GBX720E以太网交换机BX1010EBT1004E16*25GBX720E以太网交换机BX1010E以太BX720EF融合网络交换机BX1020EF25G融合交换机融合BX608FE16GFC交换机BT716F以太网直通互联模块BX500SSAS交换机FC/SASBX1020BIB交换机IB\h\hBT1004EBT1004EH3CUniServerBT1004E以太网级联模块(简称BT1004E),作为H3CUniServerB16000刀片机箱的4*(4*25GE)以太网级联模块,实现刀片服务器的以太Mezz网卡端口对外直出,为刀片服务器提供对外数据接口。级联模块外部端口为4个QSFP28端口,每个QSFP28端口支持1分4,分为4个逻辑端口,每个逻辑端口的端口速率为10G/25G,可通过OM管理软件进行速率切换。\h\hBT616EBT616EH3CUniServer直通模块(简称H3CUniServerB16000刀片机箱的10GE/25GE以太网直通模块,实现机箱前部刀片服务器的网卡端口对外直出,为机箱前部刀片服务器提供对外数据接口。\h\hFC直通模块-BT716FH3CUniServer直通模块(简称H3CUniServerB16000刀片机箱的16G/32GFCFCMezz口。\h\hBX720EBX720E以太网交换模块:B16000BX720E/UIS9000HN720E内部支持36个10G+4个10G对外提供16个10G+4个40G454567123序号含义1UID指示灯2软件运行状态指示灯3健康灯4AMC串口(互连模块辅助管理单元串口)5互联模块Console串口610GSFP+以太网端口(端口1-16)740GQSFP+以太网端口(端口17-20)\h\hBX1010EBX1010EH3CUniServerBX1010E交换模块(简称BX1010E)\h\hBX720EFBX720EF融合交换机模块:B16000BX720EF/UIS9000HN720EF/FCoE互联内部支持36个10G+4个10G()4567123序号含义1UID指示灯2软件运行状态指示灯3健康灯4AMC串口(互连模块辅助管理单元串口)5互联模块Console4567123序号含义1UID指示灯2软件运行状态指示灯3健康灯4AMC串口(互连模块辅助管理单元串口)5互联模块Console串口610GSFP+以太网/FC共有16个端口(端口1-16,1-8支持切换为FC)740GQSFP+以太网端口(端口17-20)\h\hBX1020EFBX1020EFH3CUniServerBX1020EF交换模块(简称BX1020EF)8个FC端口。融合端口SFP2888个端口分为两组,1~45~8网端口的缺省速率为25Gbps,FC16Gbps25GE光口SFP288支持FCoE100GE光口QSFP284支持FCoE\h\hFCFCBX608FEFC交换机模块:B16000BX608EF/UIS9000HN608EF提供框内所有节点的FC互联16个FC16端口,8FC16端口。4564567123序号含义1UID指示灯2软件运行状态指示灯3健康灯4AMC串口(互连模块辅助管理单元串口)5互联模块Console串口6FC16G端口\hIBIBBX1020BEDREDREDREDR刀片服务器1刀片服务器2……刀片服务15刀片服务16H3CUniServerBX1020BEDREDREDREDR刀片服务器1刀片服务器2……刀片服务15刀片服务16面板接口面板接口1接口2……接口19接口20EDREDREDREDRPort21Port22Port39Port40QuantumSwitchPort1Port2…Port11/12/17/18预留…Port19Port20\h\h目录01H3C自研刀箱产品概述02刀箱基本组件模块介绍03刀箱交换网板介绍04刀片服务器介绍05刀箱各组件安装规则汇总\h\h刀片服务器介绍H3C自主研发、基于IntelSkylake至强CPU平台的刀片服务器,可通过管理模块OM及AE模块进行集中管理。\h\hH3CB5700G3/UISB460G3刀片服务器介绍H3CB5700/UISB460G3刀片服务器支持2颗CPU配置支持DDR42666MT/s个插槽前面板34硬盘,M.2适配盒1个x16PCIe3.0Riser扩展插槽3个MEZZ(PCIe3.0x16)扩展槽位(Raid卡、卡、4port直通卡)板载支持2个SD卡槽位\h\hH3CB5700H3CB5700G3刀片服务器面板 序号含义序号含义1可选PCIe卡(从属CPU2)2可选普通硬盘或NVMe硬盘3可选普通硬盘或SATAM.2SSD模块(通过适配盒)4抽拉式标签5USB3.0连接器6扳手解锁按钮7扳手8SUV连接器注:普通硬盘指SAS/SATAHDD/SSD硬盘。\h\hH3CB5700H3CB5700G3刀片服务器主板布局序号含义序号含义1存储控制卡连接器2PCIeRiser卡连接器(从属CPU2)3系统维护开关34NVMeVROC模块连接器5Mezz卡连接器2(从属CPU2,对应ICM2/5)6Mezz卡连接器3(从属CPU1,对应ICM3/6)7系统维护开关18Mezz卡托架9MicroSD卡连接器210MicroSD卡连接器111Mezz卡连接器1(从属CPU1,对应ICM1/4)12背板连接器13系统电池14USB3.0连接器15SATADOM连接器16硬盘背板连接器17系统维护开关218TPM/TCM连接器\h\hH3CB5700G3刀片服务器CPU配置由于刀片服务CPU存在前后布局,前后CPU的散热器不同,前面的CPU(靠近面板)散热器齿片稀疏,后面的CPU(靠近背板侧)散热器齿片密。后面的CPU请选择后缀为“-F1”的型号,散热器为高密翅片,前面的CPU请选择后缀为“-F2”的型号,散热器为低密度翅片。同一节点,不支持不同型号的CPU混用,即CPU产品代码中的CPU型号字段必须一样\h\hH3CH3CB5700G3刀片服务器内存配置刀片服务器支持1路或2路CPU,每路CPU支持6个通道,每个通道支持2根DIMM,即1路CPU支持12根DIMM,2路CPU支持24根DIMM。不同规格(类型、容量、Rank、数据宽度、速率)的内存不支持混插。即一台刀片服务器上配置的所有内存产品编码必须相同。\h\hH3CB5700G3刀片服务器内存配置 \h2路CPU时,内存配置\hH3CH3CB5700G3刀片服务器硬盘配置槽位配直通卡配HBA卡配Raid卡slot0SATA/NvmeSATA/SAS/NvmeSATA/SAS/Nvmeslot1SATA/NvmeSATA/SAS/NvmeSATA/SAS/Nvmeslot2SATA/M.2适配盒SATA/SAS/M.2适配盒SATA/SAS/M.2适配盒slot3(丝印不体现,注明了M.2)SATAM.2SATAM.2SATAM.2M.2适配盒M.2适配盒\hH3C刀片服务器选件介绍-存储控制卡刀片服务器的存储控制卡,用以实现CPU与本地存储设备的互联及组Raid功能,当前版本支持3种选择:SATA直通卡(2种规格,分别是4port直通卡和8port直通卡),HBA卡,Raid卡。类型名称芯片厂家/型号类型名称芯片厂家/型号host接口device端口raid缓存交付版本PMC4portRaid卡P2404pm8204x8PCI-E3.08xSAS3.0/SATA3.00/1/5/6/2GB0210/50/60PMC8portRaid卡P4408pm8221x8PCI-E3.08xSAS3.0/SATA3.00/1/5/6/2GB0210/50/604port直通卡PT104主板PCH集成SATA直连直连PCH4xSATA3.0软Raid0/1/5/B018port直通卡PT108主板PCH集成SATA直连直连PCH8xSATA3.0软Raid0/1/5/10/B01LSI8portRaid卡P5408LSI/SAS3508x8PCI-E3.08xSAS3.0/SATA3.00/1/5/6/4GB0110/50/60LSIHBA卡H5408LSI/SAS3408x8PCI-E3.08xSAS3.0/SATA3.00/1/B01说明:4个盘位的节点,直通卡需要配4port直通卡8port的直通卡直通卡理论上支持软Raid,需要注意OS是否支持Raid卡分PMC和两个厂家\h\hH3CB5700刀片服务器存储卡配置存储控制扣卡为选件,支持三种选择:直通卡、Raid卡、HBA卡1、配置Raid卡或者HBA卡时,Riser不支持,面板为空面板2、配置直通卡时,Rsier可选配LP标卡Riser模块或者P6GPU模块3、配置Raid卡时,可选配超级电容模块,超级电容安装在内存导风罩上\h\hH3C刀片服务器选件介绍-Riser卡通过Riser卡,B16000和UIS9000的节点可以在前面板扩展LP的标卡或者P6的GPU模块。1、在选配LP的PCI-E卡时,需要选择LP的Riser托架模块+所选的LP卡2、在选配P6的GPU模块时,只需选择P6的GPU模块即可,P6的GPU和其专用的Riser托架是装配在一起作为一个整体的B16000和UIS9000采用两套不同的产品代码。说明:不同节点对Riser\h\hH3CB5700G3刀片服务器Riser卡配置Riser托架为选件B5700G3支持1个Riser托架Riser槽位支持三种选择:A、不配;B、LP标卡的Riser模块;CP6GPURiser模块不配Riser时,配置空面板配置Raid卡或者HBA卡时,Riser1不支持,面板为空面板配单CPU时,Riser不可用\h\hH3C刀片服务器选件介绍-Mezz卡刀片服务器的Mezz卡,相当于机架服务器的PCI-E标卡,不同之处主要有两点:Mezz卡形态尺寸自定义,且基本采用与主板平行的扣卡的形式Mezz而是直接通过连接器与上背板链接,走背板电信号与主机中的互联模块相连。Mezz卡按类别分有以太网、FC、IB、SAS的等B16000和UIS9000采用两套不同的产品代码3卡(522i为B02)芯片厂家host接口网络端口FCoESR-IOVTOEiWarpRocEiSCSINPARETH521iBroadcomx8PCI-E3.04x10Ge支持支持支持不支持不支持支持支持ETH522iBroadcomx8PCI-E3.02x10Ge支持支持支持不支持不支持支持支持ETH561iIntelx8PCI-E3.04x10Ge不支持支持支持不支持不支持支持不支持\h\hH3CB5700G3刀片服务器MEZZIO卡配置Mezz卡为选件支持3张Mezz,编号1-3(其中2/3可以支持将来开发的大尺寸Mezz)Mezz2处在Mezz3之下。MezzMezzslot1对应互联模块槽位1/4;Mezzslot2对应互联模块槽位Mezzslot3对应互联模块槽位\h\hH3C刀箱服务器H3C刀箱服务器半宽槽位背板走线\h\h1*1GE1*1GE管理板11*1GE2*10GE管理板2板载连接器4*25GE网板1Mezz卡14*25GE4*25GE网板44*25GEMezz卡2网板24*25GE4*25GE网板54*25GEMezz卡3网板34*25GE4*25GE网板6\h\h2P半宽节点与网板互联关系2P半宽节点与网板互联关系系统互联关系1、互联模块1/4;2/5;3/6分三个平面,两两一对2、以太网互联模块推荐优先槽位1/4(AE模块与之有互联)3、互联模块的的槽位需要与Mezz卡的槽位1:1对应\h\hH3CB7800H3CB7800G3/UISB780G3刀片服务器介绍H3CB7800/UISB780G3刀片服务器H3CB7800G3/UISB780G3刀片服务器支持4颗Intel至强系列处理器(5系及以上),支持2路CPU配置支持DDR42666MT/s内存,48个DIMM插槽前面板5个硬盘槽位,最大支持6个存储设备。支持2个x16PCIe3.0Riser扩展插槽(支持LP或者P6GPU扩展)6个MEZZ(PCIe3.0x16)扩展插槽1个存储控制卡扩展连接器主板板载两个M.2槽位(支持直通、Raid卡、HBA卡)板载支持2个MicroSD卡槽位\h\hH3CB7800G3刀片服务器面板H3CB7800G3刀片服务器面板编号含义编号含义1可选PCIe卡(从属CPU2)2可选普通硬盘或NVMe硬盘3可选PCIe卡(从属CPU3)4可选普通硬盘或NVMe硬盘5抽拉式标签6可选普通硬盘或SATAM.2SSD模块(通过适配盒)7扳手8扳手解锁按钮9USB3.0连接器10SUV连接器注:普通硬盘指SAS/SATAHDD/SSD硬盘。\h\hH3CB7800H3CB7800G3刀片服务器主板布局 编号含义编号含义编号含义1存储控制卡连接器15Mezz卡托架12PCIeRiser卡连接器1(从属CPU2)16Mezz卡连接器1(从属CPU4,对应ICM1/4)3系统维护开关317背板连接器14NVMeVROC模块连接器18硬盘背板连接器25Mezz卡连接器6(从属CPU1,对应ICM3/6)19SATAM.2SSD卡连接器16Mezz卡连接器5(从属CPU2,对应ICM2/5)20SATAM.2SSD卡连接器27MicroSD卡连接器221PCIeRiser卡连接器2(从属CPU3)8MicroSD卡连接器122SATADOM连接器19Mezz卡托架223系统维护开关210Mezz卡连接器4(从属CPU1,对应ICM1/4)24USB3.0连接器11背板连接器225系统电池12SATADOM连接器226TPM/TCM连接器13Mezz卡连接器3(从属CPU4,对应ICM3/6)27系统维护开关114Mezz卡连接器2(从属CPU3,对应ICM2/5)28硬盘背板连接器1\h\hH3CB7800G3刀片存储服务器H3CB7800G3刀片存储服务器配置CPU配置说明1、 支持配2个CPU,此时配置CPU1、CPU22、 CPU散热器不同,注意区分3、 空置时,需要配置挡风模块4、 4P节点要求配置5系及以上CPU\h\hH3CB7800G3刀片服务器硬盘配置H3CB7800G3刀片服务器硬盘配置配直通卡配HBA卡配Raid卡slot0SATA/NvmeSATA/SAS/NvmeSATA/SAS/Nvmeslot1SATA/NvmeSATA/SAS/NvmeSATA/SAS/Nvmeslot2SATA/NvmeSATA/SAS/NvmeSATA/SAS/Nvmeslot3SATA/NvmeSATA/SAS/NvmeSATA/SAS/Nvmeslot4SATA/M.2适配盒SATA/SAS/M.2适配盒SATA/SAS/M.2适配盒slot5SATAM.2SATAM.2SATAM.2\h\hH3CB7800G3刀片服务器存储卡配置H3CB7800G3刀片服务器存储卡配置存储控制扣卡为选件支持三种选择:直通卡、Raid卡、HBA卡1、配置Raid卡或者HBA卡时,Riser1不支持,面板为空面板(见右下图)2、配置直通卡时,Rsier1可选配LP标卡Riser模块或者P6GPU模块3、配置Raid卡时,可选配超级电容模块4、超级电容位置在内存导风罩上\h\hH3CB7800H3CB7800G3刀片服务器MEZZIO卡配置B7800G3服务器支持6张Mezz,编号1-6:Mezzslot1对应互联模块槽位1/4;Mezzslot2对应互联模块槽位Mezzslot3对应互联模块槽位Mezzslot4对应互联模块槽位Mezzslot5对应互联模块槽位Mezzslot6对应互联模块槽位3/6;\h\hH3CB7800G3刀片服务器RiserH3CB7800G3刀片服务器Riser卡配置Riser模块为选件,B7800G3支持2个Riser槽位1、每个Riser槽位支持三种选择:A、不配;B、LP标卡的Riser模块;C、P6GPURiser模块2、不配Riser时,配置空面板3、配置Raid卡或者HBA卡时,Riser1不支持,面板为空面板(见右图)\h\hH3C刀箱服务器4H3C刀箱服务器4路全宽槽位背板走线1*1GE1*1GE板载连接器管理板11*1GE2*10GEMezz卡1管理板2Mezz卡2网板14*25GE网板4Mezz卡3网板2Mezz卡44*25GE网板5Mezz卡5网板34*25GEMezz卡6网板6\h\h4P全宽节点与网板互联关系4P全宽节点与网板互联关系系统互联关系1、互联模块1/4;2/5;3/6分三个平面,两两一对2、以太网互联模块推荐优先槽位1/4(AE模块与之有互联)3、互联模块的的槽位需要与Mezz卡的槽位1:1对应\h\hH3CB5800H3CB5800G3/UISB580G3刀片服务器介绍H3CB5800/UISB580G3刀片服务器H3CB5800G3刀片服务器支持2颗Intel至强系列处理器,支持2路CPU配置支持DDR42666MT/s内存,24个DIMM插槽14个硬盘槽位,最大支持15个存储设备(slot0支持双M.2适配盒)。3个MEZZ(PCIe3.0x16)扩展插槽1个存储控制卡扩展连接器主板板载2个M.2槽位\h\hH3CB5800G3刀片存储服务器面板H3CB5800G3刀片存储服务器面板序号含义1该槽位可配置:普通硬盘(编号0)通过适配盒扩展两张M.2SSD模块(编号左0右1)2可选普通硬盘3可选普通硬盘或NVMe硬盘4抽拉式标签5扳手6扳手解锁按钮7开机/待机按钮和系统电源指示灯8板载千兆网卡指示灯9Health指示灯10UID按钮和指示灯11SUV连接器12硬盘Fault/UID指示灯13硬盘Present/Active指示灯\h\hH3CB5800G3刀片服务器主板布局H3CB5800G3刀片服务器主板布局版权所有2003-2021新华三技术有限公司版权所有2003-2021新华三技术有限公司. 编号含义编号含义1TPM/TCM连接器2NVMeVROC模块连接器3USB3.0连接器4Mezz卡连接器35Mezz卡托架26MicroSD卡连接器27MicroSD卡连接器18Mezz卡连接器19背板连接器210Mezz卡连接器211Mezz卡托架112背板连接器113存储控制卡连接器14硬盘背板连接器115硬盘背板连接器216SATAM.2SSD卡连接器217SATAM.2SSD卡连接器118硬盘背板连接器319系统电池20硬盘背板连接器4保留一切权利\hH3CB5800G3刀片服务器硬盘配置H3CB5800G3刀片服务器硬盘配置配HBA卡配Raid卡slot0SATA/SAS/M.2SATA/SAS/M.2slot1SATAM.2SATAM.2slot2SATA/SASSATA/SASslot3SATA/SASSATA/SASslot4SATA/SASSATA/SASslot5SATA/SASSATA/SASslot6SATA/SAS/NvmeSATA/SAS/Nvmeslot7SATA/SAS/NvmeSATA/SAS/Nvmeslot8SATA/SAS/NvmeSATA/SAS/Nvmeslot9SATA/SAS/NvmeSATA/SAS/Nvmeslot10SATA/SAS/NvmeSATA/SAS/Nvmeslot11SATA/SAS/NvmeSATA/SAS/Nvmeslot12SATA/SAS/NvmeSATA/SAS/Nvmeslot13SATA/SAS/NvmeSATA/SAS/Nvmeslot14SATA/SAS/NvmeSATA/SAS/Nvme\h\hmH3CB5800G3刀片服务器存储卡配置H3CB5800G3刀片服务器存储卡配置Raid卡配置说明1、Raid扣卡支持2种选择:A、支持缓存和可选超级电容的Raid卡 B、HBA卡2、配置Raid卡时,可选配超级电容模块3、超级电容位置在内存导风罩上4、仅支持配置8port的Raid卡或者HBA卡,不支持4port的Raid卡.\h\hmH3CB5800G3刀片服务器MEZZ卡配置Mezz卡为选件支持3张Mezz,编号1,2,3。Mezzslot1对应互联模块槽位1/4;Mezzslot2对应互联模块槽位Mezzslot3对应互联模块槽位3/6;\h\hmH3C刀箱服务器H3C刀箱服务器半宽槽位背板走线1*1GE1*1GE管理板11*1GE2*10GE管理板2板载连接器4*25GE网板1Mezz卡14*25GE4*25GE网板44*25GEMezz卡2网板24*25GE4*25GE网板54*25GEMezz卡3网板34*25GE4*25GE网板6\h\hm2P全宽存储节点与网板互联关2P全宽存储节点与网板互联关系系统互联关系1、互联模块1/4;2/5;3/6分三个平面,两两一对2、以太网互联模块推荐优先槽位1/4(AE模块与之有互联)3、互联模块的的槽位需要与Mezz卡的槽位1:1对应\h\hmH3CB5700G5刀片服务器介绍 H3CUniServerB5700G5服务器是H3C公司自主研发、基于IntelIceLake至强CPU平台的刀片服务器,可通过管理模块OM及AE模块进行集中管理。支持2颗InteliceLakeCPU配置支持DDR43200MT/s内存,32个DIMM插槽前面板3个硬盘槽位,最大支持4个存储设备,支持SATA/SAS/Nvme硬盘,M.2适配盒1个x16PCIe4.0Riser扩展插槽3个MEZZ(PCIe3.0x16)扩展槽位一个存储控制卡扩展槽位(支持Raid卡、HBA卡、4portSATA直通卡)支持启动\h\hmH3CH3CB5700G5刀片服务器MEZZ卡配置Mezz卡为选件支持3张Mezz,编号1-3(其中2/3可以支持将来开发的大尺寸Mezz)Mezz2处在Mezz3之下。Mezzslot1对应互联模块槽位1/4;Mezzslot2对应互联模块槽位Mezzslot3对应互联模块槽位\h\hm目录01H3C自研刀箱产品概述02刀箱基本组件模块介绍03刀箱交换网板介绍04刀片服务器介绍05刀箱各组件安装规则汇总\h\hm刀箱电源模块安装准则刀箱电源模块安装准则机箱最多可以安装6个电源模块,支持无冗余、N+1和N+N冗余模式。建议按照机箱槽位从下往上、从左往右配置,安装顺序:1、2、3、4、5、6\h\hm刀箱风扇安装准则刀箱风扇安装准则 机箱最多可以安装1248安装在1~8冗余。8412冗余。\h\hmOM的安装准则OM的安装准则机箱最多可以安装2个OM图所示,建议安装顺序:1、2。安装2个OM模块时,两者互为主备。OM模块支持热插拔。\h\hmAE/LCD模块安装准则AE/LCD模块安装准则(2):E2槽位(1):E1槽位机箱最多可以安装2个AE模块,安装E1和E2。(2):E2槽位(1):E1槽位机箱最多可以安装1个LCD模块,支持热插拔,安装在E1槽位。\h\hmMEZZ卡安装规则MEZZ卡安装规则Mezz网卡1:42端口融合网卡/4FC网卡Mezz网卡2:FC42端口融合网卡/4端口融合网卡Mezz网卡3:FC42端口融合网卡/4端口融合网卡\h\hm网板交换机安装规则网板交换机安装规则ICM网板安装规则:平面A(ICM1/4),>FC网板安装优先级:FC网板安装优先级:FC

融合网板融合网板\h\hm互联模块与MEZZ互联模块与MEZZ卡安装匹配关系6互联模块支持热插拔。\h\hm节点服务器的安装准则节点服务器的安装准则 机箱最多可以安装16个半宽单高刀片服务器。建议按照机箱槽位从下往上、从左往右机箱最多可以安装16个半宽单高刀片服务器。建议按照机箱槽位从下往上、从左往右机箱最多可以安装8个全宽单高刀片服务器。建议按照机箱槽位从上往下\h\hm刀片服务器CPU安装准则刀片服务器CPU安装准则B5700G3 B7800G3B5700B7800CPU类型1路或2路2路或4路标签“Front”的梳齿散热器CPU2CPU2和CPU3上带有标签“Rear”的密齿散热器CPU1CPU1和CPU4上必须在位状态CPU1CPU1和CPU2\h\hm刀片服务器Riser卡和刀片服务器Riser卡和PCIe卡安装Riser卡与PCIe卡适配关系服务器类型Riser卡型号Riser卡支持安装位置PCIe连接器描述PCIe连接器支持的PCIe卡从属CPUB5700G3RC-LP-1PCIeRiser卡连接器PCIe3.0x16LP卡CPU2B7800G3RC-LP-1PCIeRiser卡连接器1-slot1PCIe3.0x16LP卡CPU1PCIeRiser卡连接器2-slot2CPU2说明:说明:PCIeRiser卡连接器在主板的具体位置如右图。当前售卖的刀片服务器所选配的PCIRiser均为LP支持LPPCIE板卡。(GPU套件所含的PCIRiser除外)PCIe3.0x16:PCIe3.0:第三代信号速率;x16:连接器宽度;\hm课程总结及丰富的统一管理功能的融合性架构。刀片服务器的刀箱供电及散热方案和配置刀片服务器的可用网板组件刀片服务器的可用服务器节点组件刀片服务器的安装规则\hmTHANKS\h\h\hm2003-2019新华三技术有限公司.\hCMBS-0100-002PH3C刀箱服务器管理模块与SAS共享模块讲解配置和管理H3C刀片系统V1.0\hww\hww.h\hc.›\hom引入H3C刀箱OM块互连,实现对机箱各个模块,这是与传统服务器管理的重要区别。了解其管理功能,是作为学习本课程的重点。作为监控、部署刀片服务器的AE模块,也是其的了解,可以更好的发挥刀片集中管理优势。虽然如何实现,以及可以发挥哪些功能,本次课程将拿出专门的章节介绍。课程目标学习完本课程,您应该能够: 掌握OM功能和配置方法掌握与AE模块功能和配置方法掌握共享存储模块原理和配置方法目录01 02 03

H3C刀箱服务器OM模块功能讲解 H3C刀箱与AE模块介绍 H3C刀箱共享存储模块介绍本章节内容01H3C刀箱OM模块介绍02H3C刀箱模块初始化03H3C刀箱OM模块功能介绍04H3C刀箱OM业务端口典型配置应用OM功能介绍OM功能介绍\hww\hww.h\hc.›\hom统级智能调速。1

OM模块软件功能:机箱管理AE模块管理刀片服务器管理互联模块管理OM模块电源/风扇管理用户管理升级管理策略管理OM模块端口介绍OM模块端口介绍\hww\hww.h\hc.›\hom序号接口名称类型序号接口名称类型数量说明110GE光口SFP+2OM模块业务平面的接口2GE电口RJ-452OM模块业务平面的接口3级联端口STACKRJ-451用于机箱级联4管理端口MGMTRJ-451用于机箱管理5Console口RJ-451用于OM模块调试系统或远程管理6USB3.0接口标准USB3.01-OM模块与机箱内部连接方式OM模块与机箱内部连接方式\h\h右侧图示中包含了:双OM互联OM讯的链接彼此间通讯的方式\hww\hww.h\hc.›\hom多机箱级联情况下访问LAN

LANPCM :S :MGMT

MOMSChassisMOMSChassis

PCM:MS:MGMTS

MOM1SMOM1MS

ChassisChassis

MOM2SMMOM2SMOMSChassis

MOM1S

Chassis3

MOM2SMOMSChassis

MOM1S

Chassis4

MOM2S单通道机箱级联 双通道机箱级联OM模块访问方式OM模块访问方式\hww\hww.h\hc.›\homLANPCEnclosure通过LANPCEnclosure通过Console口登录,波特率9600、8、1、None、None通过SSH方式登录通过登录通过登录通过接口登录功能参数数值协议SSH/TelnetOM管理IP地址缺省为DHCP方式获取,本文以如下数据为例:管理IP地址:00首次登录OM模块,需通过Console口登录OMCLI使用displaymanageripconfig查看OM模块管理IP地址用户名和密码缺省值:adminOM模块SSH访问方式缺省处于开启状态,Telnet访问方式缺省处于关闭状态。OM首页登录界面OM首页登录界面\hww\hww.h\hc.›\hom参数说明机箱参数说明机箱级联拓扑中的所有机箱,并显示每个机箱的名称。若某个机箱具有匿名数据访问权限,则可单击该机箱前面的“+”,展开查看该机箱的匿名数据,具体如下:机箱型号:机箱的型号序列号:机箱的序列号固件版本:机箱OM状态机箱整体的状态,包括正常、降级、告警、异常和未知机箱整体的状态取各子系统状态中的最高级别的状态,>>>>常连接机箱的级联状态,包括主用和次级。用户当前访问的机箱,连接一栏会备注“当前”主用:级联拓扑中的最顶级的机箱管理IP地址机箱OM模块的管理IP地址。蓝色字体显示的IP链接,用户可单击切换到它的登录页面。级联拓扑中,管理IP地址发生冲突的,则IP\hww\hww.h\hc.›\hom本章节内容01H3C刀箱OM模块介绍02H3C刀箱OM模块初始化03H3C刀箱OM模块功能介绍04H3C刀箱OM业务端口典型配置应用\hww\hww.h\hc.›\homOM初始化配置开始登录登录OM Web设置电源工作模式设置语言修改缺省用户密码设置语言修改缺省用户密码设置机箱基本信息创建新用户设置机箱基本信息创建新用户修改OM修改OM模块管理IP地址(可选)级联机箱管理设置访问限制其他功能配置设置访问限制其他功能配置设置机箱槽位IP地址 结束OMOM设置基本信息\hww\hww.h\hc.›\hom设置机箱基本信息-设置日期和时间:单击“日期和时间”;勾选“手动设置”并输入相关信息;单击“应用”,完成设置。OMOM修改登录IP地址\hww\hww.h\hc.›\hom设置OM模块管理IP地址:单击“>>IP信息”;勾选“静态IP”的管理地址获取方法,输入相关信息;单击“应用”,完成操作。OMOM配置访问限制\hww\hww.h\hc.›\hom设置OM模块访问限制:单击“>>访问限制”;开启或关闭某项功能,如“启用单击“应用”,完成操作。OMOM配置机箱槽位IP\hww\hww.h\hc.›\hom设置机箱槽位IP地址管理:单击“槽位IP>槽位IP信息”;1位刀片服务器槽位IPv4信息;单击“自动填充”向下箭头,此时系统自动为该刀片服务器槽位以下的所有刀片服务器自动分配槽位IPv4信息,其中IPv4地址会逐个加1,子网掩码及网关保持不变,依次启用每个刀片服务器IPv4单击“应用”,完成批量配置刀片服务器槽位IPv4地址操作;OMOM设置电源工作模式\hww\hww.h\hc.›\hom设置电源工作模式:单击“电源/工作模式”;电源冗余提供N+1,N+N,及无冗余模式\hww\hww.h\hc.›\hom本章节内容01H3C刀箱OM模块介绍02H3C刀箱OM模块初始化03H3C刀箱OM模块功能介绍04H3C刀箱OM业务端口典型配置应用OMOM(1/5)\hww\hww.h\hc.›\hom刀片服务器模块主要功能:程控制、系统日志、端口映射、固件升级、功率限额OMOM(2/5)\hww\hww.h\hc.›\hom刀片服务器模块状态诊断:主要涉及刀片服务器模块状态信息、诊断信息、温度传感器OMOM(3/5)\hww\hww.h\hc.›\hom刀片服务器模块远程控制:主要涉及刀片服务器模块远程控制、虚拟电源、启动信息、功率限额OMOM(4/5)\hww\hww.h\hc.›\hom刀片服务器模块端口映射:主要涉及刀片服务器模块端口与互联模块端口对应关系OMOM(5/5)\hww\hww.h\hc.›\hom刀片服务器模块存储(需要HDM达到2.x版本以上):远程配置RAID互联模块主要功能: 主要涉及互联模块列表、状态诊断、端口映射、虚拟电源25版权所有2003-2021新华三技术有限公司.保留一切权利 \h25\hww\hww.h\hc.›\hom互联模块状态诊断: 主要涉及互联模块状态信息、诊断信息、温度传感器OMOM(3/5)\hww.h\hww.h\hc.›\hom互联模块端口映射:外部端口映射OMOM(4/5)\hww\hww.h\hc.›\homOMOM(5/5)\hww\hww.h\hc.›\hom互联模块虚拟电源:主要涉及互联模块虚拟电源及UID设置OMOM(1/2)\hww\hww.h\hc.›\hom电源风扇管理模块功率限额:主要涉及机箱功率限额、刀片服务器限额OMOM(2/2)\hww\hww.h\hc.›\hom电源风扇管理模块功率信息:主要涉及机箱功率汇总、机箱分配及输出功率、AE互联模块功率汇总、风扇模块功率汇总OMOM(1/5)\hww\hww.h\hc.›\hom用户管理模块主要功能:主要涉及本地用户创建/删除/修改、在线用户、用户解锁、LDAP组、LDAP服务器OMOM(2/5)\hww\hww.h\hc.›\hom用户管理模块本地用户:主要涉及创建、删除、修改,其中用户权限分为管理员、操作员、观察员OMOM(3/5)\hww\hww.h\hc.›\hom用户管理模块密码规则:主要密码密码复杂度、重复历史密码、有效期、登录失败锁定、及锁定时间OMOM(4/5)\hww\hww.h\hc.›\hom用户管理模块在线用户:主要涉及在线用户查看及用户下线OMOM(5/5)\hww\hww.h\hc.›\hom用户管理模块用户解锁:主要涉及用户名解锁和IP解锁用户名解锁:用户在24小时之内,连续5次输出错误密码,则在第6该用户。IP解锁:在24小时之内的同一个IP地址上,用户使用不同的账号访问OM或密码错误,则在第6个账号输入错误用户名或密码时,系统将锁定该IP。OMOM固件升级管理\hww\hww.h\hc.›\hom升级管理模块主要功能:主要涉及OM模块版本升级、刀片服务器模块版本升级、AE模块版本升级\h\h策略管理模块主要功能:主要涉及无状态功能设置、刀片服务器网络策略创建/删除/修改、策略应用\hww\hww.h\hc.›\hom策略管理模块策略创建:主要涉及策略名称、刀片服务器型号、Mezz卡槽位号及型号、Mezz卡端口配置OMOM(3/3)\hww\hww.h\hc.›\hom策略管理模块策略应用:主要涉及策略关联和解除关联\hww\hww.h\hc.›\hom本章节内容01H3C刀箱OM模块介绍02H3C刀箱OM模块初始化03H3C刀箱OM模块功能介绍04H3C刀箱OM业务端口典型配置应用策略管理实际应用场策略管理实际应用场\hww\hww.h\hc.›\hom景ManagermentNetworkBusinessNetworkABusinessNetworkBBusinessNetworkCSlot1 Slot2ActiveManagerManagermentNetworkBusinessNetworkABusinessNetworkBBusinessNetworkCSlot1 Slot2ActiveManager StandbyManagerEnclosureSlot1ServerBladeASlot2ServerBladeBSlot3ServerBladeCRearSlot4ServerBladeDFronetSwitchHostAHostBHostCPC计算节点D-属于市场部数据库服务器客户端AAB客户端BCD客户端CA、BC和D为了通信的安全性,以及避免广播报文泛滥,公司网络中使用VLAN技术来隔离不同部门服务器的二层流量。配置实现方式配置实现方式\hww\hww.h\hc.›\hom为将计算节点划入不同的VLAN,需要添加不同的为将计算节点划入不同的VLAN,需要添加不同的策略用户需要将创建的VLAN策略(policy-1、policy-2、口(1、2、3、4)上。为实现不同客户端可以访问不同业务网,需要添加不同的VLAN策略,定义客户端允许访问的VLAN策略应用到管理模块的外部业务端口。用户需要将创建的VLAN策略(policy-5、policy-6、policy-7)依次应用于主用管理模块的外部端口(1、2、3)上。配置策略配置策略\hww\hww.h\hc.›\hom策略应用策略应用\hww\hww.h\hc.›\homVLANVLAN策略应用于内部端口VLANVLAN策略应用于外部端口\hww\hww.h\hc.›\hom目录01 02 03

H3C刀箱服务器OM模块功能讲解 H3C刀箱与AE模块介绍 H3C刀箱共享存储模块介绍AE模块介绍AE模块介绍AE模块是一款部署了Scalable)管理软件的产品。通过AE交换机、刀片服务器进行管理,且支持为刀片服务器配置RAID,配置BIOS及批量安装操作系统产品型号DDR4内存容量SSD硬盘容量H3CUniseverAE10016GB(16GB*1根)240GB(240GB*1块)AE硬件结构AE硬件结构 面板1个面板1个接口内部RAID卡1*GE1*10GE网卡机箱内部,AE模块的四个板载网口通过中置背板,分别连接到主用和备用OM模块及1、4号槽位的互联模块(ICM)。LOMLOMP112LOMP2OMMid-planeNET11NET24AEICMAE模块的安装规则AE模块的安装规则机箱中最多支持安装2个AE模块。由于LCD模块只支持安装在右图所示的编号1位置,当机箱只安装一个AE模块时,优先安装在编号2位置,以便机箱后期扩展LCD模块22:槽位E21:槽位E1FIST访问方式与典型组网FIST访问方式与典型组网刀刀箱目前的设计方案是外部PC访问FIST时,只需要连接OM上的M口即可,所以在FIST的os里,出厂会把默认ip配在vmng.om网口上,出厂插在左侧槽位的AE默认ip是00/24,右侧AE是01/24一个刀箱环境的典型组网如下,用户把PC、所有刀箱和外部服务器交换机都连到同一个小网交换机上,PC登录FIST页面,可以在FIST上把所有要管理的设备都加入FIST做管理,前提是AE节点和所有被管理设备二层联通。管理口业务口AEAE21刀箱PC 管理口业务口AEAE21刀箱PCAE管理本地和外部刀箱AE管理本地和外部刀箱\hww\hww.h\hc.›\homAE对于刀箱的管理,都是通过OM提供的RESTful接口进行管理。对于AE所在的本地刀箱,AE的OS内可以接收到刀箱内部的心跳报文,感知到本OM的linklocal地址,从而实现自动添加本地刀箱的功能。对于外部刀箱,用户在FIST页面输入ipv4地址、用户名、密码后,添加刀箱作为管理。AE登录地址AE登录地址\hww\hww.h\hc.›\hom通过缺省IP地址登录FIST后,请修改该IP地址。否则同一网段中的多个刀箱上安装AE模块后,可能会出现IP地址冲突参数类型AE模块安装位置参数值FIST登录IP地址槽位E100/24槽位E201/24用户名槽位E1或槽位E2admin密码Password@_\hww\hww.h\hc.›\homAEWeb登录FIST提供了友好的GUI(G

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论