2023版NVMe over RoCEv2网络控制优化技术要求与测试规范

NVMeoverRoCEv2网络控制优化技术要求与测试规范 NVMeover目录1 范围 1术语和缩略语 2术语 2缩略语 3参考标准 4NVMeoverRoCEv2网络发展 5NVMeoverRoCEv2组网架构 5网络控制优化技术要求 6业务功能和流程 6IP业务域管理 7LLDP通告 7状态通知 11信息同步 16网络安全技术要求 16网络控制优化测试规范 17测试场景分析 17测试工具 19即插即用场景测试 19快速感知场景测试 25I NVMeoverNVMeoverRoCEv2网络控制优化技术要求与测试规范范围本规范明确了NVMeoverRoCEv2网络控制优化技术（快速感知，主机、交换机、存储设备业务流程、消息格式定义和技术要求，以及测试方法。本规范适用于NVMeoverRoCEv2收参考。术语和缩略语术语IP业务域IPservicezone一组主机和存储的业务IP的集合，至少包含1个主机IP和1个存储IP。目标器 target提供存储服务的角色。启动器 initiator访问目标器，使用存储服务的角色。多路径软件 multipathsoftware主机与存储多条冗余路径的管理软件，实现容错和性能提升。即插即用PlugandplayoverRoCEv2按照IP故障快速感知Fastfaultdetection主机快速感知网络故障，断开故障业务连接，触发多路径软件快速切换业务。订阅 subscription端点设备在发送LLDP通告报文时在报文中标识是否需要接收网络状态通知消息，此标识称为订阅。 NVMeoverRoCE网络控制优化技术规范 33缩略语缩略语英文全名中文解释LLDPLink Layer DiscoveryProtocol链路层发现协议NQNNVMeQualifiedNameNVMeNon-VolatileMemoryexpressNVMe-oFNVMeoverFabricRoCERDMAoverConvergedEthernet基于融合以太网的RDMASNSDStorage Network SmartDiscovery存储网络智能发现TLVTypeLengthValue NVMeover参考标准NVMe-oFNVMExpressoverFabrics802.1AB-2016StandardforLocalandmetropolitanareanetworks-StationandMediaAccessControlConnectivityDiscoveryInfiniband架构附件A17RoCEv2注：上述标准未带年号的，以接收到此文档时最新发布的标准号为准。 NVMeoverRoCE网络控制优化技术规范 PAGEPAGE10NVMeoverRoCEv2FCSCSINVMeNVMeoverRoCEv2NVMeoverFabricNVMeoverRoCEv2NVMexpress准定义，本规范在网络控制如易用性、易维护性和可靠性方面进行优化，使得NVMeoverRoCEv2NVMeoverRoCEv2主机（主机（InitiatorRoCEv2网络存储）BA平面平面）NVMeoverRoCEv2网络中主要包括三类角色：启动器（后续简称为主机）、交换机、目标器（后续简称为存储），启动器和目标器也称为端点设备。主机与存储通过NVMeoverRoCEv2协议在网络中传输数据，提供高性能存储服务。故障更换IP速切换业务到冗余路径。网络控制优化技术要求业务功能和流程IPIPIPIO。存储作为服务提供方，接入网络时，发送设备接入信息并定期通告；订阅网络设备信息变化消息为可选项，可以订阅消息用作网络定位。即插即用和故障快速感知业务流程中涉及如下消息定义和交互，在后续章节中进行详细要求：——LLDP通告IPIPIPIPIP力：IP置导入（或批量配置）功能；IPIPIPIPIPIPIPIP间的一致性。LLDPLLDPLLDPTLVLLDPTLVLLDPLLDP2IDportIDchassisIDMACportID2+IP定字符：snsd_，表示用于设备自动发现的名称。字段分类名称长度（字节）说明备注LLDP标准定义部分TLV类型7bit字段分类名称长度（字节）说明备注LLDP标准定义部分TLV类型7bit127(10进制)，表示扩展TLV类型TLV长度9bit从下一个字段开始的所有字段长度之和OUI3标准组织标识符扩展TLV类型子类型1101(10进制)设备基础属性版本1表示版本号，当前版本为1，不同版本可以扩展内容，保持向前兼容交换机需要进行解析，用于识别设备IP类型1:低4bit表示IPV4:1，orIPV6:2服务类型1:高4bitbit7:是否订阅网络信息变化消息，对于订阅的节点交换机才发送网络信息变化消息；主机必须订阅，存储可选订阅；bit6/bit5/bit4:reserved，未来扩展；保留2保留，默认为0，用于未来扩展IP地址16数值格式，IPV4时只占4个字节；设备附属信息协议角色1TGT(1),INI(2),bothTGT&INI(3)，TGT2析字段内送协议类型1协议类型，1：NVMeoverNVMeoverTCP；3：NVMeoveriWARP；4：iSCSI；5：RoCE服务；6：TCP；7：UDP说明：1）RoCERoCE，但应用协议是私有定义的方式；2）TCPTCP，但应用协议是私有定义的方式;协议版本2协议版本号：x.x；协议端口2协议服务端使用的端口号，如果协议采用知名端口号则reserved，全部填0；协议标识符长度1标识下面“协议标识符”的长度，表示协议标识符实际长度协议标识符255可变长字段：0-255，与协议类型相对应的定义，NVMeoverRoCEv2协NQN,注意：标识符没有字符串最后的\0；NQN，如果需要主机做discovery，NQN长度为0；主机和存储技术要求主机和存储作为LLDP通告的发送端，应具备以下技术能力：应按照协议定义周期性（30）LLDPIPLLDPLLDPLLDPLLDPIPVLANLLDPLLDP交换机技术要求交换机作为LLDP通告消息的接收端，应具备以下技术能力：LLDP，LLDP应同步设备接入信息到网络中其他交换机；LLDPIPLLDP超过老化周期（120）LLDPIPLLDP64。状态通知状态通知消息格式定义TLV1ACK状态通知消息格式描述长度（字节）取值帧头目的MAC60180-C200-000D源MAC6消息发送方的MAC地址Eth类型288A7消息头协议版本1当前版号:1保留1预留字段，用于未来扩展消息总长度2TLV消息总长度，不包括消息头和帧头的长度保留4预留字段，用于未来扩展TLV消息TLV类型2bits(bit7-6)TLVclass,0:通用类别，1：应用类别；2：关联类别；3：私有类别；1bit(bit5)基础型/结构型,0:基础型；1：结构型说明：1）基础型表示TLV携带数据是基础数据；2）结构型表示TLV携带数据包括多个基础型TLV5bits(bit4-0)表示TLV类型，见后续章节定义TLV消息长度2TLV消息长度TLV信息变长由TLV类型决定TLVTLV（TLVclass：0，TLV2bits0，第5bit为1）通知消息TLV类型133：通知消息TLV消息长度2TLV消息长度TLV信息subTLV消息长度之和IPv4,包括subTLV：1,2,5,6,7,and8IPv6,包括subTLV：3,4,5,6,7,and8ACKTLV类型134：ACKTLV消息长度2TLV消息长度TLV信息subTLV消息长度之和IPv4,包括subTLV：1,2,5IPv6,包括subTLV：3,4,5TLVTLV（TLVclass0TLV3bits0域成员设备的IPV4地址TLV类型11：变化设备的IPV4地址TLV度消息长24TLV信息4IPv4地址目的IPV4地址TLV类型12：目的IPV4地址TLV度消息长24TLV信息4IPv4地址域成员设备的IPV6地址TLV类型13：变化设备的IPV6地址TLV度消息长216TLV信息16IPv6地址目的IPV6地址TLV类型14：目的IPV6地址TLV度消息长216TLV信息16IPv6地址消息序列号TLV类型15：消息序列号TLV度消息长24TLV信息4消息序列号，每个消息递增1,ACK时使用相同的序列号设备状态TLV类型16：设备状态TLV消息长度24TLV信息4设备状态：0-离线，1-上线设备状态变化原因TLV类型17：设备状态变化原因TLV消息长度24TLV信息4交换网络故障，4-域配置变更，5-更，6-LLDP说明：链接断开：指设备离线原因是端点设备与交换机之前的链接断开；PFC风暴：指设备离线原因是交换机检测到端点设备发生PFC风暴；BFD故障；域配置变更：指设备离线原因是域配置发生变化，设备从域中删除；IP址配置发生变化；LLDP120没有给交换机发送LLDP通告报文设备附属信息TLV类型18：设备附属信息TLV消息长2变长，设备附属消息长度度TLV信息变长LLDP交换机技术要求状态消息通知分为上线和离线2类，只在接入交换机产生，并发送给端点设备；交换机作为网络状态管理和状态通知的发送端，应具备以下技术能力：交换机状态通知消息应只发送给订阅消息的设备；阅设备。LLDPIP业务域配置通知订阅消息的设备。3100ms、1s、10s；500ms设备。主机技术要求主机作为存储服务使用方，应具备以下技术能力：LLDPACK；应支持对通知消息去重，避免对重复消息进行处理；NVMe-oFNOF500ms断开业务连接。存储技术要求存储作为服务提供方，应具备以下技术能力：LLDPACK；如果订阅，应对通知消息去重，避免对重复消息进行处理。信息同步交换机间的信息同步保证全网统一管理，包括IP业务域配置信息，接入设备信息和状态，信息同步应满足如下技术要求：IPIP网络安全技术要求交换机技术要求交换机应符合如下安全技术要求：应支持有效性检查，避免异常报文攻击；应支持DDOS响；应防止LLDP仿冒攻击，端口发送不属于本端口IP的LLDP正常运行的业务端口，避免交换机功能受影响；交换机间信息同步应防止仿冒、篡改、DDOS导致功能异常；检测到网络异常后应记录日志或告警。主机和存储技术要求主机和存储应满足如下安全技术要求：应支持有效性检查，避免异常报文攻击；应支持DDOS攻击防护，避免影响业务正常功能；的业务IP，不能影响其他端口；检测到网络异常后要记录日志或告警。存储端如果订阅网络通知消息，应支持网络安全防护；网络控制优化测试规范测试场景分析针对网络控制器优化技术，主要涉及场景如下接入场景网络故障场景配置变化场景组网变更场景√√√√测试用例设计从上述四个场景进行分析，具体如下表：场景细分场景描述测试因子接入场景管理员把主机接入网络管理员把存储接入网络机扩容交换机扩容场景，分为两是交换机接入时已有设备接入交换机存储节点与交换机之间的链路断开快速感知-网络故障场景服务器和交换机之间的链路断开路交换机和交换机之间的链路断开用户更改交换机配置域的信息存储修改IP地址快速感知-配置变化场景IPMAC址交换机IPIPNOF增强特性设置主机或者存储取消NOF增强特性快速感知-组网变化场景当于存储端口断开后接入新的端口化、交换机级联端口变更主机节点接入端口变更，相当于主机端口断开再新的端口接入交换机级联组网变更，景异常报文攻击场景、测试工具名称用途Vdbench业务读写性能测试工具MZPFC网络风暴模拟工具即插即用场景测试DiscoveryNoF触发条件：1、客户第一次配置业务；2、主机重启或机房掉电重启；3、网络故障后再恢复；设备首次接入是否必测是测试目的验证客户首次组网时服务器和阵列接入交换网络后能够自动建立NOF连接测试条件1、首次组网2、网络规划完成配置3、服务器已安装SNSD软件和多路径软件，并且完成配置执行步骤1（IP,VLAN等并完成组网2、在交换机上面查询IP域中是否正确的加入服务器和阵列的IP信息；及服务器和阵列的NOF连接是否建立成功，3110Glun，lun配置4lun，lun预期结果12NOFDMNOF的启动器信息2、步骤4、服务器能够扫到lun，并且业务运行正常备注交换机重启是否必测是测试目的恢复测试条件1、网络规划完成配置2、服务器已安装SNSD软件和多路径软件，并且完成配置执行步骤1（IP,VLAN等并完成组网2、在交换机上面查询IP域中是否正确的加入服务器和阵列的IP信息；及服务器和阵列的NOF连接是否建立成功，3110Glun，lun配置4lun，lun5、重启交换机，重启完成后查看NOF连接是否恢复6、重新运行业务，查看业务是否能够运行成功预期结果12NOFDMNOF的启动器信息2、步骤4、服务器能够扫到lun，并且业务运行正常35NOFDMNOF4、步骤6，业务运行成功备注服务器重启是否必测是测试目的验证服务器重启后能够自动接入网络，NOF连接能够自动恢复测试条件1、网络规划完成配置2、服务器已安装SNSD软件和多路径软件，并且完成配置执行步骤1（IP,VLAN等并完成组网2、在交换机上面查询IP域中是否正确的加入服务器和阵列的IP信息；及服务器和阵列的NOF连接是否建立成功，3110Glun，lun配置4lun，lun5、重启服务器，重启完成后查看NOF连接是否恢复6、重新运行业务，查看业务是否能够运行成功预期结果12NOFDMNOF启动器为在线2、步骤4、服务器能够扫到lun，并且业务运行正常35NOFDMNOF4、步骤6，业务运行成功备注存储阵列重启是否必测是测试目的验证阵列端重启后能够自动接入网络，NOF连接能够自动恢复测试条件1、网络规划完成配置2、服务器已安装SNSD软件和多路径软件，并且完成配置执行步骤1（IP,VLAN等并完成组网2、在交换机上面查询IP域中是否正确的加入服务器和阵列的IP信息；及服务器和阵列的NOF连接是否建立成功，3110Glun，lun配置4lun，lun5、重启存储阵列，重启完成后查看NOF连接是否恢复6、重新运行业务，查看业务是否能够运行成功预期结果12NOFDMNOF的启动器信息2、步骤4、服务器能够扫到lun，并且业务运行正常35NOFDMNOF4、步骤6，业务运行成功备注新设备接入是否必测是测试目的链成功测试条件1、网络规划完成配置2、服务器已安装SNSD软件和多路径软件，并且完成配置执行步骤1（IP,VLAN等并完成组网2、在交换机上面查询IP域中是否正确的加入服务器和阵列的IP信息；及服务器和阵列的NOF连接是否建立成功，3110Glun，lun配置4lun，lun5IPIP，NOF6、重新运行业务，查看业务是否能够运行成功预期结果12NOFDMNOF的启动器信息2、步骤4、服务器能够扫到lun，并且业务运行正常35DMNOF状态，4、步骤6，业务运行成功备注IPIP网络中的IP冲突快速感知场景测试网络快速感知应用场景网变更四大场景下的业务快速感知或业务切换。（，主机节点能够自动发现存储退出，并通知多路径软件该路径断开；（LinkDown间的链路故障（所有通路都故障（可以访问，部分节点不能访问，取决于存储与交换机是否共物理实体交换机，并通知多路径软件该路径断开；IPIP可用；快速感知功能验证IP是否必测是测试目的IPIPIP，主机能够快速感知并断开NOF连接，并通知多路径软件该路径不可用测试条件1、网络规划完成配置2、服务器已安装SNSD软件和多路径软件，并且完成配置执行步骤1（IP,VLAN等并完成组网2、在交换机上面查询IP域中是否正确的加入服务器和阵列的IP信息；及服务器和阵列的NOF连接是否建立成功，3110Glun，lun配置4lun，lun5IPIPIP6IPNOF恢复预期结果12NOFDMNOF的启动器信息2、