云存储系统部署手册V1.0.0150807

云存储部署使用说明书V1.0.0Error! No text of specified style in document. I前言概述本文档主要介绍了大华云存储的部署步骤，仅供大华内部研发人员、技术支持人员参考。符号约定在本文档中可能出现下列标志，它们所代表的含义如下。符号 说明表示有高度潜在危险，如果不能避免，会导致人员伤亡或严重伤害。表示有中度或低度潜在危险，如果不能避免，可能导致人员轻微或中等伤害。表示有潜在风险，如果忽视这些文本，可能导致设备损坏、数据丢失、设备性能降低或不可预知的结果。表示静电敏感的设备。表示高压危险。表示强激光辐射。表示能帮助您解决某个问题或节省您的时间。表示是正文的附加信息，是对正文的强调和补充。Error! No text of specified style in document. II重要安全须知下面是关于产品的正确使用方法、为预防危险、防止财产受到损失等内容，使用设备前请仔细阅读本说明书并在使用时严格遵守，阅读后请妥善保存说明书。 请在设备布控后及时修改用户的默认密码，以免被人盗用。 请勿将设备放置和安装在阳光直射的地方或发热设备附近。 请勿将设备安装在潮湿、有灰尘或煤烟的场所。 请保持设备的水平安装，或将设备安装在稳定场所，注意防止本产品坠落。 请勿将液体滴到或溅到设备上，并确保设备上没有放置装满液体的物品，防止液体流入设备。 请将设备安装在通风良好的场所，切勿堵塞设备的通风口。 仅可在额定输入输出范围内使用设备。 请勿随意拆卸设备。 请在允许的湿度和温度范围内运输、使用和存储设备。 请务必按照要求使用电池，否则可能导致电池起火、爆炸或燃烧的危险！ 更换电池时只能使用同样类型的电池！ 产品必须使用本地区推荐使用的电线组件（电源线） ，并在其额定规格内使用！ 请务必使用设备标配的电源适配器，否则引起的人员伤害或设备损害由使用方自己承担。 请使用满足 SELV（安全超低电压）要求的电源，并按照 IEC60950-1 符合 Limited Power Source（受限制电源）的额定电压供电，具体供电要求以设备标签为准。 请将 I 类结构的产品连接到带保护接地连接的电网电源输出插座上。 器具耦合器为断开装置，正常使用时请保持方便操作的角度。特别声明 产品请以实物为准，说明书仅供参考。 说明书将根据产品的变化定期更新，更新的内容将会在本手册的新版本中加入，恕不另行通知。产品部分功能在更新前后可能存在细微差异。 最新程序及补充说明文档敬请与公司客服部联系。 说明书供多个型号产品做参考，每个产品的具体操作不一一例举，请用户根据实际产品自行对照操作。 说明书可能包含技术上不准确的地方、或与产品功能及操作不相符的地方、或印刷错误，以公司最终解释为准。 如不按照说明书中的指导进行操作，因此而造成的任何损失由使用方自己承担。 在本文档中可能提及的其他商标或公司的名称，由其各自所有者拥有。Error! No text of specified style in document. III目录 IV目录前言 .I重要安全须知 II1 系统概述 .11.1 系统介绍 11.2 服务器介绍 12 系统部署 .22.1 云转存方案部署 22.1.1 部署前准备 .22.1.2 部署 MDS .52.1.3 部署 Datanode.92.1.4 运维界面添加节点 .102.1.5 流媒体服务配置 .112.1.6 时间同步配置 .162.2 云直存方案部署 162.2.1 部署前准备 .162.2.2 部署 MDS .192.2.3 部署 Datanode.232.2.4 升级安装 DSS.242.2.5 流媒体服务配置 .262.2.6 时间同步配置 .303 部署验证 .313.1 验证准备 313.2 登录云存储运维 314 系统升级 .344.1 升级准备 344.2 一键升级 344.3 模块升级 395 常见问题处理 .425.1 部署常见问题 425.2 常见交换机配置方法 435.2.1 概述 .435.2.2 华为 S5700-52C-SI.435.2.3 华三 S5560-54C-EI.475.2.4 锐捷 S5510-48GT/4SFP-E .53附录 1 错误码 59附录 1.1 云存储错误码 .59附录 1.2 DSS 错误码 64Error! No text of specified style in document. 11 系统概述1.1 系统介绍云储存系统解决了城市级海量视频数据存储和检索难题，以视频、图片文件存储和管理为核心，可面向大规模数据密集型应用。云存储系统以网络智能存储为载体，通用的 X86 架构应用服务器为元数据管理服务器，来实现存储节点能够根据业务需要扩容，存储节点间容错等高级特性，具有高性能、高容错、高可用的特点。1.2 服务器介绍MDS(Meta-data Service)MDS 即大华云存储元数据服务器，常用型号有 CSS9032、CSS9064。MDS 主要负责元数据的存储和管理。集群中 MDS 的数量为两台，互为主备。图 1-1 MDSDatanodeDatanode 即大华云存储数据节点，常用型号有 CSS3116、CSS7024、CSS7124 、CSS7148。Datanode 主要负责数据的存储。集群中 Datanode 的数量依据现场规划的存储规模而定。图 1-2 DatanodeError! No text of specified style in document. 22 系统部署云存储系统部署可分为云直存和云转存两种方式，用户可根据不同的方案需求进行选择。由于操作界面随着功能的增加、版本的迭代而修改，本文中的截图可能与实际中的不符，请以实际为准。2.1 云转存方案部署2.1.1 部署前准备Windows 机器一台（要求可以和云存储集群连接到一个交换机上，建议使用笔记本电脑） 。需要安装的软件如下所示： Chrome 浏览器 大华 IP Installer 工具 xshell 或 CRT 等终端工具2.1.1.1 云转存组网云转存按不同的组网方式可分为堆叠、不堆叠、直连核心三种方式，如下图所示。Error! No text of specified style in document. 3图 2-1 D ND N2 根千兆网线2 根万兆网线主 M D S 备 M D S心跳线核心交换机云存储接入交换机1 根千兆网线. . .D a t a n o d e 规模按需扩展M D S 两台双机热备D ND N. . .大 华 云 转 存 组 网 图 1 （ 堆 叠 模 式 ）堆 叠堆 叠. . .堆叠线堆叠线图 2-2 D ND N2 根千兆网线2 根万兆网线主 M D S 备 M D S心跳线核心交换机1 根千兆网线. . .M D S 两台双机热备大 华 云 转 存 组 网 图 2 （ 不 堆 叠 模 式 ）D ND N. . .D a t a n o d e 规模按需扩展. . .云存储接入交换机Error! No text of specified style in document. 4图 2-3 2 根千兆网线2 根万兆网线主 M D S 备 M D S心跳线核心交换机1 根千兆网线M D S 两台双机热备大 华 云 转 存 组 网 图 3 （ 直 连 核 心 ）D ND N. . .D a t a n o d e 规模按需扩展2.1.1.2 网络规划设备默认心跳 IP 为 192.168.1.2、192.168.1.3，重新分配的 IP 不能与默认的心跳 IP 同网段。部署时，需要提前进行 IP 规划，本文部署以下表为例。表 2-1 云转存 IP 规划参数名称 示例MDS 虚 IP 172.5.112.201CS 虚 IP 172.5.112.202MDS1 实 IP 172.5.112.200MDS2 实 IP 172.5.112.203Datanode1 实 IP 172.5.111.192Datanode2 实 IP 172.5.111.193 2.1.1.3 交换机配置堆叠根据项目规划的组网图，确定是否采用堆叠模式，选择堆叠模式需要对交换机做堆叠配置，因Error! No text of specified style in document. 5交换机型号众多在此不展开，常用型号可参考本文档中“常见交换机配置方法”章节。端口绑定无论是否采用堆叠模式，都需要对交换机相应的端口做绑定。各服务器需要绑定的端口数如下表所示，常用交换机型号绑定操作可参考本文档中“常见交换机配置方法”章节。表 2-2 交换机配置服务器 交换机需要绑定端口数主 MDS 2备 MDS 2每个数据节点 Datanode 42.1.2 部署 MDS2.1.2.1 MDS 接线步骤 1 为两台 MDS 接上电源线并开机。步骤 2 为两台 MDS 接好网线。MDS 总共有 4 个网卡（eth0 、eth1 、eth2、eth3） ，正常情况下，网卡编号顺序是和物理网口的位置顺序是一致的。 eth0 和 eth1 是 MDS 的心跳网口，即第 1、2 两个网口，将这两个网口分别直连到另外一台MDS 对应的网口。 eth2 和 eth3 是 MDS 业务网口，即第 3、4 两个网口，将这两个网口连接到存储交换机上。2.1.2.2 修改两台 MDS 的实 IP步骤 1 将笔记本网线连接到和 MDS 同网交换机上。步骤 2 将笔记本添加一个和 MDS 同一网段的 IP，如 172.5.112.250，选择“本地连接 属性 Internet 协议版本 4（TCP/IP4） 高级 添加” ，添加 IP 和网关，如下图所示。Error! No text of specified style in document. 6图 2-6 步骤 3 打开 IP Installer 工具，单击刷新按钮发现所有支持 IP Installer 的待配置服务器。图 2-7 步骤 4 找到待配置 IP 的两个 MDS，双击查看具体 IP 的配置信息（没有修改过的 MDS IP 均为192.168.0.110） 。Error! No text of specified style in document. 7图 2-8 步骤 5 弹出框中的 IP 配置为规划好的 MDS 实 IP，用户名、密码、端口，请输入为：admin、 888888888888(12 个 8)、37777。步骤 6 单击“修改” 。 如果修改失败，请单击刷新，若发现 IP 已经修改成功，进行下一步骤，若未修改成功，请检查用户名和密码。 如果修改成功，请单击刷新，可以看到修改后的结果。步骤 7 配置成功后，按以上步骤配置另外一台 MDS。2.1.2.3 配置 MDS 和 CS 的虚 IP步骤 1 以 admin 帐户（默认密码为 admin）登录其中任意一台元数据服务器的 IP 配置界面，如用 chrome 浏览器打开地址“172.5.112.200/EFS/Install.html” ，其中“172.5.112.200”为实 IP。输入网址时，请注意字母大小写。Error! No text of specified style in document. 8图 2-9 步骤 2 在上述界面中，输入相应的 IP 地址。表 2-3 输入框提示 IP 地址本地 IP 系统自动设置的 MDS 实 IP，请勿修改对端 IP 输入另外一台 MDS 实 IPMDS 虚拟 IP 管理平台访问地址CS 虚拟 IP 客户端访问云存储地址步骤 3 配置完成后单击确定，稍等片刻就配置成功，至此两台元数据服务器都已经配置完成。图 2-10 安装过程Error! No text of specified style in document. 9图 2-11 安装结束2.1.3 部署 Datanode2.1.3.1 Datanode 接线步骤 1 机架上的 Datanode 全部接上电源并开机。步骤 2 Datanode 先接一台机器的网线到交换机。Datanode 四个网口是绑定一起的，需要将四个网口连接到交换机上已经绑定的四个对应端口。2.1.3.2 修改 Datanode 实 IP步骤 1 将笔记本连接到和 datanode 同网的交换机上。步骤 2 打开 IP Installer 工具，单击刷新按钮发现所有支持 IP Installer 的待配置服务器。步骤 3 找到待配置 IP 的 Datanode，双击查看具体 IP 的配置信息（没有修改过的 Datanode IP 均为 192.168.0.111） 。Error! No text of specified style in document. 10图 2-12 步骤 4 弹出框中的用户名、密码、端口，请输入为：admin、888888888888(12 个 8)、37777，单击“修改” 。 如果修改失败，请检查输入的用户名密码。 如果修改成功，请单击刷新，可以看到修改后的结果。步骤 5 接着重复“Datanode 接线”和“修改 Datanode 实 IP”步骤，配置下一台 Datanode。2.1.4 运维界面添加节点配置完所有 Datanode 的实 IP 后，需要将 Datanode 添加到集群中。步骤 1 打开云存储运维界面：MDS 虚 IP/EFS，如 172.5.112.201/EFS，以 admin 帐户（默认密码为 admin）登录。步骤 2 选择“存储节点”菜单栏。并单击“节点添加”按钮，弹出如下窗口。Error! No text of specified style in document. 11图 2-13 步骤 3 在窗口中输入已经配置好的 Datanode 实 IP 并单击确定。这样节点就被加到集群中来了。步骤 4 接着将剩余 Datanode 逐台添加上来。2.1.5 流媒体服务配置云转存方案中，云存储和 DSS 平台是两块独立的模块，DSS 平台部署、升级等步骤不在此展开，此处仅针对 DSS 平台中的云存储配置提供示例。目前可以和云存储对接的平台有：DSS-B 平台、DSS-C 平台，以下配置方式按平台类型进行区分。2.1.5.1.1 DSS-B 平台步骤 1 提前部署、升级好 DSS 平台。步骤 2 打开其中任意一台流媒体服务器页面：DSS IP/config，如 172.5.111.205/config，以用户名 admin（默认密码 123456）登录。Error! No text of specified style in document. 12图 2-14 步骤 3 第一次登录时会提示修改默认登录密码，为了保障您的设备安全，请及时修改密码。步骤 4 进入“服务配置 存储服务（SS） ”。1. 将模式类型修改成云存储模式。2. 填写 SS 配置。SS 配置中目录服务器地址就是 CS 地址，本示例中为172.5.112.202，端口、用户名、密码为 38100、root、123456，N+M 模式请按照实际需求填写。3. 填写云直存配置。本例为转存模式，该处配置用不到，但是“MDS 地址”项默认Error! No text of specified style in document. 13为“0.0.0.0” ，不修改无法保存配置，因此此处只单独改“MDS 地址”项为实际MDSIP 即可，如 172.5.112.201。4. 单击“应用”保存配置。图 2-15 步骤 5 接着重复以上的步骤，配置其余的流媒体服务器（包括 CMS） 。2.1.5.1.2 DSS-C 平台步骤 1 提前部署、升级好 DSS 平台。步骤 2 在浏览器输入 DSS 中心服务器（CMS）IP 地址，打开 Web 登录界面，选择“管理员” ，用户名密码分别是： system 123456。图 2-16 Error! No text of specified style in document. 14步骤 3 登录后进入“系统设置 文件管理”界面，单击右边的“配置工具下载” ，下载 DSS-C配置工具并安装。图 2-17 步骤 4 安装完成后运行 DSS-C 配置工具。步骤 5 对于每一台流媒体转发服务器（包括 CMS、MTS） ，都需要分别用 DSS-C 配置工具登录上去，配置云存储模式。如果不知道 MTS 服务器地址，可以参考步骤 2 登录 DSS web界面，进入“基本设置 服务器设置 视频服务器”界面查看使用中的服务器 IP。图 2-18 步骤 6 DSS-C 配置工具启动界面填写其中一台流媒体服务器（MTS）的 IP 地址，端口号默认9093，单击登录按钮。图 2-19 Error! No text of specified style in document. 15步骤 7 把 SS、PTS 存储模式设为云存储。1. 登录 DSS-C 配置工具后，点左侧的“磁盘配置(Disk)”页签，然后在“SS”存储类型下拉框上选择“云存储” 。2. 在“SS 云存储配置”页签上填写云存储配置项：表 2-4 参数 说明IP 地址 填写云存储目录服务器 IP，即 CS IP，如 172. 5.112.202端口 38100用户名 root密码 123456数据冗余模式 若云存储服务已经正常运行，单击“获取冗余模式” ，下拉列表中会拉出几种云存储默认支持的 N+M 模式。N+M 的选择请根据项目的预期规划进行选择。3. 选择 PTS 存储存储类型为“云存储” 。下方的 PTS 云存储配置细节与 SS 云存储配置一致。4. 配置完 SS 和 PTS 后，单击右下角保存按钮，根据系统提示重启服务。图 2-20 Error! No text of specified style in document. 16图 2-21 步骤 8 接着重复以上的步骤，配置其余的流媒体服务器（包括 CMS） 。2.1.6 时间同步配置系统中必须保证云存储和平台间时间同步。平台 CMS 需部署和开启 NTP 服务，保证所有设备、服务间时间同步，否则有可能引起录像查询、回放的异常，比如时间跳变，录像混乱。步骤 1 检查 cms 和 mds 的时间差，使用 data s “时间”，强制修改系统时间（若有备机，同样需要修改） ，必须使得双方时间差在 30 分钟之内，否则 ntpd 无法生效。步骤 2 登入 CMS 后台，执行命令：netstat -tunlp | grep ntpd，查看 123 端口是否被 ntpd 服务占用监听。若显示如下信息，说明 ntpd 服务已经正常启动。Error! No text of specified style in document. 17步骤 3 若步骤 2 中 ntpd 服务未正常启动，登陆 CMS 的后台，修改/etc/ntp.conf 文件中的下面两行：#server 127.127.1.0 # local clock#fudge 127.127.1.0 stratum 10修改为： server 127.127.1.0 # local clockfudge 127.127.1.0 stratum 10即去掉注释。CMS 机器执行 service ntpd start,启动 ntpd 服务。CMS 机器执行 chkconfig ntpd on,使 ntpd 服务开机启动。检查 123 端口是否处于监听状态，netstat tunlp | grep ntpd步骤 4 确保 CMS 的 ntpd 服务正常启动后，在云存储运维界面，配置 NTP IP 保证后续时间同步。NTP IP 的填法：若 CMS 双机热备，填 CMS 虚 IP，若为单台 CMS，填单台 CMS 实 IP。步骤 5 校验配置是否生效：MDS 机器执行命令 cat /etc/ntp/step-tickers显示出来的 ip 看是否为在运维界面配置的 NTP IP。步骤 6 检验 NTP 是否生效：执行 ntpq p 查看 ntp 服务器与上层 ntp 服务器的状态。Error! No text of specified style in document. 18#其中：#remote - 本机和上层 ntp 的 ip 或主机名， “+”表示优先， “*”表示次优先#refid - 参考上一层 ntp 主机地址#st - stratum 阶层#when - 多少秒前曾经同步过时间#poll - 下次更新在多少秒后#reach - 已经向上层 ntp 服务器要求更新的次数#delay - 网络延迟#offset - 时间补偿#jitter - 系统时间与 bios 时间差执行 ntpstat，查看无和上层连同。ntpstat 结果可能需要 5 分钟左右的时间才能出来。执行 date 命令查看实际时间同步情况。注：若 CMS 为双机热备，需要对 CMS 的所有主备机都执行上述步骤 1、2、3 这 3 步操作。2.2 云直存方案部署2.2.1 部署前准备Windows 机器一台（要求可以和云存储集群连接到一个交换机上，建议使用笔记本电脑） 。需要安装的软件如下所示： Chrome 浏览器 大华 IP Installer 工具 xshell 或 CRT 等终端工具2.2.1.1 云直存组网云直存集群组网图，此处以 8 个千兆网口的数据节点为例，4 个网口接存储交换机，另外 4 个网口接业务交换机，现场部署请以实际情况为准。Error! No text of specified style in document. 19图 2-22 D ND N2 根千兆网线2 根万兆网线主 M D S 备 M D S心跳线核心交换机1 根千兆网线. . .M D S 两台双机热备大 华 云 直 存 组 网 图 1D a t a n o d e 规模按需扩展. . .云存储接入交换机( v l a n 1 ). . .业务接入交换机( v l a n 2 )图 2-23 D ND N2 根千兆网线2 根万兆网线主 M D S 备 M D S心跳线核心交换机1 根千兆网线. . .M D S 两台双机热备大 华 云 直 存 组 网 图 2D a t a n o d e 规模按需扩展. . .业务接入交换机( v l a n 2 )云存储 v l a n 1Error! No text of specified style in document. 202.2.1.2 网络规划 设备默认心跳 IP 为 192.168.1.2、192.168.1.3，重新分配的 IP 不能与默认的心跳 IP 同网段。 云直存方案中分配的存储 IP 不能与业务 IP 同网段。部署时，需要提前进行 IP 规划，本文部署以下表为例。表 2-5 云直存 IP 规划参数名称 示例MDS 虚 IP 172.5.112.201CS 虚 IP 172.5.112.202MDS1 实 IP 172.5.112.200MDS2 实 IP 172.5.112.203Datanode1 实 IP 存储 IP:172.5.111.192 业务 IP:172.25.111.192Datanode2 实 IP 存储 IP:172.5.111.193 业务 IP: 172.25.111.193 2.2.1.3 交换机配置端口绑定各服务器需要绑定的端口数如下表所示。每个数据节点对应需要绑定的交换机端口数需根据实际网络规划进行绑定，本例中每台 Datanode 需要接 8 个交换机口， 4 个网口给业务 IP，4 个网口给存储 IP，因此需要分别对存储交换机 4 个网口做绑定，业务交换机 4 个网口做绑定。常用交换机型号绑定操作可参考本文档中“常见交换机配置方法”章节。表 2-6 交换机配置（云直存）服务器 交换机需要绑定端口数主 MDS 2备 MDS 2每个数据节点 Datanode 按网络规划绑定Error! No text of specified style in document. 212.2.2 部署 MDS2.2.2.1 MDS 接线步骤 1 为两台 MDS 接上电源线并开机。步骤 2 为两台 MDS 接好网线。MDS 总共有 4 个网卡（eth0 、eth1 、eth2、eth3） ，正常情况下，网卡编号顺序是和物理网口的位置顺序是一致的。 eth0 和 eth1 是 MDS 的心跳网口，即第 1、2 两个网口，将这两个网口分别直连到另外一台MDS 对应的网口。 eth2 和 eth3 是 MDS 业务网口，即第 3、4 两个网口，将这两个网口连接到存储交换机上。2.2.2.2 修改两台 MDS 的实 IP步骤 1 将笔记本网线连接到和 MDS 同网交换机上。步骤 2 将笔记本添加一个和 MDS 同一网段的 IP，如 172.5.112.250，选择“本地连接 属性 Internet 协议版本 4（TCP/IP4） 高级 添加” ，添加 IP 和网关，如下图所示。图 2-26 步骤 3 打开 IP Installer 工具，单击刷新按钮发现所有支持 IP Installer 的待配置服务器。Error! No text of specified style in document. 22图 2-27 步骤 4 找到待配置 IP 的两个 MDS，双击查看具体 IP 的配置信息（没有修改过的 MDS IP 均为192.168.0.110） 。图 2-28 步骤 5 弹出框中的 IP 配置为规划好的 MDS 实 IP，用户名、密码、端口，请输入为：Error! No text of specified style in document. 23admin、 888888888888(12 个 8)、37777。步骤 6 单击“修改” 。 如果修改失败，请单击刷新，若发现 IP 已经修改成功，进行下一步骤，若未修改成功，请检查用户名和密码。 如果修改成功，请单击刷新，可以看到修改后的结果。步骤 7 配置成功后，按以上步骤配置另外一台 MDS。2.2.2.3 配置 MDS 和 CS 的虚 IP步骤 1 以 admin 帐户（默认密码为 admin）登