Citrix Netscaler 日常维护指导书

1、 日常维护指导书Citrix Netscaler 目录 1 NETSCALER体系结构 . 4 1.1 文件系统 . 4 目录结构 . 5 1.2 体系结构 . 71.3 N启动和运行 . 81.4 ETSCALER2 NETSCALER命令行操作 . 9 2.1 命令行和所有命令 . 9 2.2 命令行使用 . 9 2.3 N基本操作命令(LB相关) . 10 ETSCALER3 状态查看 . 13 3.1 SU(D) . 13 ASHBOARDTATISTICAL TILITY3.2 命令 . 16 STAT3.3 命令 . 19 SHOW4 日志收集 . 25 4.1 N无响应（假死）

2、. 25 ETSCALER4.2 N系统故障或者功能性故障 . 26 ETSCALER4.2.1 高可用性故障 . 28 4.2.2 负载均衡故障 . 29 4.2.3 全局负载均衡故障 . 31 5 日常维护 . 32 5.1 告警与处理 . 32 5.2 诊断工具 . 33 5.2.1 抓包工具 . 33 5.2.2 Log查看工具 . 34 5.2.3 配置查看工具 . 36 5.3 实时数据与统计信息 . 36 5.3.1 实时数据 . 36 5.3.2 统计信息 . 39 6 NETSCALER硬盘检测更换步骤 . 41 6.1 测试准备 . 41 6.2 检测、更换步骤 . 41

3、7 NETSCALER双机环境下更换备机步骤 . 44 7.1 测试环境 . 44 7.2 测试准备 . 44 7.3 主机设置 . 44 7.3.1 主设备配置保存 . 44 7.4 备机配置 . 46 7.4.1 备机更换前确认 . 46 7.4.2 升级系统版本 . 46 7.4.3 NSIP配置 . 47 7.4.4 配置节点 . 48 7.5 同步配置 . 50 7.6 小结 . 53 8 NETSCALERHA环境下FIRMWARE在线升级 . 54 8.1 配置测试准备 . 54 8.1.1 测试环境 . 54 8.1.2 测试准备 . 54 8.2 配置测试过程 . 55 8.

4、2.1 主设备配置保存 . 55 8.3 备机升级 . 56 8.3.1 备机配置准备 . 56 8.3.2 升级备机版本 . 56 8.4 升级主机版本 . 59 8.5 启用同步 . 61 8.6 小结 . 63 9 NETSCALER在线更换电源模块指导手册 . 64 9.1 备件确认 . 64 9.1.1 外观确认 . 64 9.1.2 Netscaler全系列 DC/AC电源PN表 . 64 9.2 更换过程 . 65 9.2.1 配置保存 . 65 9.2.2 更换步骤 . 65 9.3 状态查看 . 66 10 NETSCALER MPX 版本NSROOT 密码恢复 . 66 1

5、 Netscaler体系结构 1.1 文件系统 /var - Hard Drive ?Logs - /var/log and /var/nslog ?Install - /var/nsinstall ?Trace - /var/nstrace ?Core Dumps - /var/crash and /var/core ?/flash - Flash Drive ?Config - /flash/nsconfig ?SSL Certificates - /flash/nsconfig/ssl ?User Monitors - /flash/nsconfig/monitors ?Custom o

6、ptions - /flash/nsconfig ?NS Kernel - /flash ?/ - RAM Drive ?OS 1.2 目录结构 /var/log ?/var/log中的重要文件 ?Ns.log Messages ? ?/var/log其他文件 Httperror.log ? cron ? Dr_error.log ? Httpaccess.log ? License.log ? Nscollect.log ? ?Nsvpn.log ?Nsvpnd.log Snmpd.log? /var/nslog 中重要文件 /var/nslog? ? newnslog newnslog.*

7、.gz ? 其他文件?/var/nslog ns.log ? nsumond.log ?nslog.nextfile? /nsconfig和/netscaler Netscaler运行的进程 Netscaler核心进程 ? Nswsrun Run Citrix NetScaler OS Nsvpnd ? SSL VPN File Transfers Samba Nsaaad ? RBA and SSL VPN External Auth Nsconf ? Writes the ns.conf file Nsauthd ? CLI Authentication Nslog.sh Controls

8、 Logging for newnslog ? Nssync HA Sync 由nssync.sh启动，在secondary? 上active，用来从primary同步配置 ? Nsreadfile Used to read SSL Cert Files ? Nscrlrefresh SSL CRL list update ? Nslcd LCD 面板控制程序 Nsfsyncd 同步书签和?SSL证书 Nsnetsvc ? GUI上的配置修改，第三方接口 Nsumond 用户自定义脚本监控处理进程? Nsconmsg ?newnslog日志控制程序 Nsmap 读取GSLB静态?IP地址库 N

9、srip, nsospf, nsbgp 路由进程? Nsdrevent ?处理事件，HA sync nssync.sh? Nsm ? 路由进程(运行ZebOS) Imi ? 路由进程 1.3 体系结构 ? The NetScaler design is based on a layered model between the NetScaler Kernel, and the BSD Operating System ? The NetScaler kernel operates below the BSD kernel, and controls - Time slicing for BSD

10、 - Network packet processing - SNMP and syslog processing - SSL Offload ? BSD manages - The boot process - File system access - Long-term logging Management Processes ? BSD and NetScaler share memory management Netscaler和FreeBSD 1.4 Netscaler启动和运行 /etc/rc ? rc_local_pass0 配置磁盘，调用check_disk等函数 文件目录权限

11、设置，清除、创建等 ? prepare_var SSLVPNprepare_sslvpn ? 相关配置 /nsconfigprepare_nsconfig ? 目录下相关文件和目录确定 ? rc_local_pass1 配置网络、网卡、网络参数 rc.conf.defaults? start_daemons 启动? Netscaler(netscaler.sh start) 和rc_local_pass2 日志记录(start_logging函数) nsstart.sh? ? nsconfig S 2 Netscaler命令行操作 2.1 命令行和所有命令 ? Classic CLI ? Co

12、ntextual CLI ? FreeBSD CLI 2.2 命令行使用 ? help set cli mode man add lb vserver(支持tab) ? man adlbvser ? tab或?命令补齐 history?命令历史 alias命令别名? grep,more?管道 命令行编辑? range?功能 2.3 Netscaler基本操作命令(LB相关) ? add/rm lb vserver set/unset lb vserver ? bind/unbind lb vserver ? enable/disable lb vserver ? show lb vserver

13、 ? add service ? add server ? add serviceGroup ? help lb ? help basic ? 添加Vserver 添加service Vserver和Service绑定 修改和删除Vserver 修改和删除Vserver 禁用service 3 状态查看 Statistical Utility(Dashboard) 3.1 ?显示当前状态 无历史记录? 实时显示性能状态信息? 状态信息每7秒更新一次 ? 每个dashboard都消耗CPU?时间 系统日志（System Log） 内置固定图表 自定义画图 自定义图表 Vserver/Servic

14、e 状态 3.2 stat命令 ? Stat commands derive rate and stats from performance records Deltas are computed off of the two previous records ?Live versions of the stat command output can be seen in the 6.1+? statistical dashboard ?Provides the most commonly needed statistics without flooding the ? user with d

15、ata, i.e. user friendly statistics? Man commands can be used to provide help for individual field ? values, i.e. “man stat lb vserver” ? Stat Commands ? stat lb vserver显示LB Vserver状态信息 stat lb vserver显示LB Vserver状态信息 stat HA node显示高可用协议状态 Stat service显示service状态信息 Stat interface Stat serviceGroup 3.

16、3 show命令 从Netscaler内核获取配置数据的快照 Show 网络相关 ? show arp show bridgetable ?show channel ? show interface ?show lacp ? show route ? show vlan ?show rnat ?show ip ? show arp/show ip/show route Show ns 相关 ? show ns acl show ns config show ns s o s connectiontable ? show ns feature show ns hostname show ns h

17、ttpParam ? show ns info show ns ip ? show ns ip6 show ns license ? show ns mode show ns ns.conf ? show ns persistencesession ?show ns rateControl show ns runningConfig ? show ns version show ns stats ? Show connectiontable show ns config显示NS全局配置 Show ns feature show ns ip和show ns version show Load b

18、alancing相关 ? show lb show server? show service? show serviceGroup ?show vserver ? show lb vserver Show service show serviceGroup 4 日志收集 Netscaler发生故障后，需要现场工程师收集相关的日志，针对故障的表现方式不同，日志收集方式也不同。 4.1 Netscaler无响应（假死） Netscaler无响应（假死）是指通过Web、Console口、串口均无法登陆Netscaler设备，现象如下： 客户机与服务器不再有穿越流量 SSH登陆无效 GUI登陆无效 控

19、制台无响应 LED无显示 此时Netscaler已经没有办法通过程序上进行控制和修复，只能进行重启。在使用过程中，Netscaler确实会出现假死情况。 为了便于分析假死原因，我们要求Netscaler设备在假死状态下强制生成 core dump1文件并重启。通过按住Netscaler设备面板上的NMI键可以使假死的Netscaler生成 core dump文件并重启。 注： 1、 请确保所有操作无效，再按下NMI键。如果任一操作仍有效，其他处理方法更优。 2、 NMI键重启会比直接重启耗费更长的时间，该时间有Netscaler设备型号和内存大小决定，时间范围为1045分钟。 3、 生成的co

20、re dump文件存于Netscaler设备的/var/crash目录下，收集该日志需要管理员权限用户登录Netscaler设备进行拷贝。 4.2 Netscaler系统故障或者功能性故障 Netscaler系统故障或者功能性故障定义为：通过Web、Console口、串口的一种或者几种方式可以登录Netscaler设备进行维护和命令的执行，该故障可以是依然存在或者是已经恢复的。 为了便于定位分析原因，需要取得Netscaler所记录的运行日志。取得运行日志的方法为： 【2】show techsupport命令： 设备，执行Netscaler 1、通过管理员权限登录 屏幕回显如下： 2、 注意：

21、 1、 如果功能性故障为硬盘损坏，该日志将不能生成，我们直接走故障恢复流程即可。 2、 如果Netscaler设备是HA部署，我们也需要在另一台设备执行该命令。 文件生成后保存在Netscaler设备的/var/tmp/support目录下，通过FTP软件将日 3、志文件拷贝到本地，描述一下问题现象以及发生点，发给维护工程师。 查看也可保存Webtechsupport日志文件。 4、 或者到拷贝图中路下载压缩的日志文件，download成功生产日志文件后，可以点击 径中的文件。 对于netscaler常用的功能特性故障，可以根据以下故障现象进行比对，】【3然后采取相应的措施。 4.2.1 高可

22、用性故障 故障现象： ? HA同步失败 ? 双机状态的频繁切换 ? 命令传输失败 采取的措施： 1. 查看HA的双节点配置 查看： Web 命令查看： 2. 查看接口信息 Web查看： 命令查看： 3. 提取两台netscaler中的ns.conf配置文件.（附表1） 4. 提取两台netscaler中的newslog日志文件.（附表1） 4.2.2 负载均衡故障 故障现象： ? 服务性能异常 ? 虚拟服务器性能异常 ? 响应缓慢 采取的措施： 1. 查看虚拟服务器的配置 Web查看： 命令查看： 2. 查看后台服务的状态： Web查看： 命令查看： 3. nstrace的抓取 Web抓取：

23、命令抓取： 4.2.3 全局负载均衡故障 故障现象： ? 流量没有流向指定的site ? MEP协议不成功 ? 远端site服务失效 ? Proximity功能失效 采取的措施： 1. 所有site上的ns.conf配置文件收集 2. 最新的newnslog文件收集 3. 查看gslb中site状态 Web查看： 命令查看： 4. 查看正在运行的gslb的配置信息 命令行： 5 日常维护 5.1 告警与处理 Netscaler设备已经纳入华为云计算统一监控平台中，当Netscaler发生故障后，华为 设备的监控项有如下：omsportal会产生相应的告警。目前云平台对Netscaler 温度超

24、过阈值NetScaler CPU 占用率超过阈值NetScaler CPU 硬盘使用率超过阈值NetScaler 内存占用率超过阈值NetScaler 备用服务器故障NetScaler NetScaler SSL证书过期 NetScaler主服务器检测不到备服务器的心跳 NetScaler升为主服务器 NetScaler降为备用服务器 NetScaler HA无心跳 注：关于各个监控项的解释与处理请参考华为云计算产品手册。 5.2 诊断工具4文件，用于分logNetscaler提供多种诊断工具，我们可以通过诊断工具获取相应的看（Web查常Netscaler用的诊断工具以作看析和查netscal

25、er的工状态。下是 ）。system-Diagnostics 5.2.1 抓包工具Tools. Support 面板中的Netscaler提供抓包工具，位于DiagnosticsTechnical 面板。Start new trace后打开Trace点击 ，避免将捕获的数据包分片。我0Packet Size面板中将的默认值164改为Trace ，该格式可以记录作为们建议使用nstraceTrace file formatvlan tag等信息。 查看工具5.2.2 Log中的具部分，包含查看newnslogLogs的NetscalerDiagnostics面板中Manage 文件，包含大量信息

26、，可以通过以下查看常用信息。体内容。Newnslog作为主要log 用于查看事件信息以及对应的发生事件，在命令行模式下可以利用图中的eventsView 命令进行查看。 地址冲突等故障时，故用于查看控制台信息，如当发生IP View console messages 障提示信息将记录与此部分。在命令行模式下可以利用图中的命令进行查看。 配置查看工具5.2.3 中其分，包含View Configuration部Netscaler的Diagnostics面板中saved configuration和于比对running configuration difference可以用 configurati

27、on的信息。 的路径，ns.conf，browse中选择保存配置文件点击configuration difference 则可以进行比对。 5.3 实时数据与统计信息提供友好的方式供我们查询实时数据与统计信息，我们可以根据这些信息了Netscaler Netscaler自身的健康情况。解整个云平台负载以及连接状况，同时也能了解 实时数据5.3.1 实时数据可显示系统实时运行情况，供维护人员参考维护。 Load Balance的当前连接信息： 1、查询 查看：Web 命令查看： 2、 查询当前ICA连接信息： Web查看： 命令查看： 3、 实时数据统计：Dashboard Dashboard页

28、面提供强大的时候信息统计功能，并且能以图表的形式呈现出来。 CPU、内存、流量、请求统计： 当CPU与内存占用持续过大（60%）时，应该引起注意。 左侧的页签中有Select选择框，可以更具自己需要进行选择，如下： 比如我们关注IP包的传输情况，选择“IP Packets receive vs.transmitted”，可以得到IP包传输速率： 右侧的页签中有Select Group选择框，可以更具自己需要进行选择，如下： 比如我们需要查看各个网口情况，可以选中interface项，当发现收发包异常过大时，应该引起注意。如下： 选中端口后，在下面将显示出更为详细的信息，可以作为维护人员参考诊断

29、用，如下： 5.3.2 统计信息 统计信息可以提供一个时间段内的统计数据，可以供维护人员了解运行趋势。统计信息在登录后Web页面的 Reporting 页签下： 1、 查看在线用户数趋势： 左侧导航栏选择： 选择自定义显示周期，显示如下： 2、 查看一周内CPU、内存、数据包请求趋势图 左侧导航栏选择： 、 选择显示周期，显示如下： 3、 查看一周数据包收发趋势 左侧导航栏选择： 选择显示周期，显示如下： 其他信息可以根据审计需求自行查询。 6 Netscaler硬盘检测更换步骤 6.1 测试准备 将待测硬盘插入Netscaler机器，用串口线连接笔记本和机器串口，启动SecureCRT配置好

30、相应端口准备测试。启动电源开始测试。 6.2 检测、更换步骤 提前备份配置,证书,license等文件! ，硬盘是否可以检测到设备并进入系统（硬盘无法读取，则可判断硬1、启动查看检测进程件故障）； 2、若可进入系统，验证硬盘是否可mount；（硬盘故障，缓存已满，检测不到/dev/ad0s1e /var，硬盘无法mounted，可判断硬盘物理故障） 3、Shutdown 关机，准备更换硬盘。 4、手动更换可用硬盘。 5、按电源开关，重新启动机器，进入系统检测。（进入shell，df h 查看硬盘挂接状态，更新后的硬盘可mounted） 6、进入文件系统，新建及删除文件，验证硬盘的可读写性。（可

31、正常读写，新硬盘无问题） Vi 新建文件及内容，测试硬盘可读写性； 查看文件信息，删除文件； 7、故障硬盘更换完毕，新硬盘可正常使用。 7 Netscaler双机环境下更换备机步骤 7.1 测试环境 硬件：Netscaler 2台，交换机，客户端PC，服务器端PC，网线3根，串口线； 软件：SecureCRT、IE explorer/ firefox； 7.2 测试准备 将客户端PC ip设置为与Netscaler 同网段地址 （Netscaler默认ip为， 或启动机器后面板中查看） 7.3 主机设置 7.3.1 主设备配置保存 将客户端PC、主设备接入网络，保存主

32、设备配置文件/nsconfig ，查看主设备firmware版本、licence版本。 保存配置 系统版本 Licence版本 7.4 备机配置 7.4.1 备机更换前确认在离线状态下启动待还机器，查看默认IP，设置客户端IP与机器同一网段， web程序进入系统界面，检查待换机器的firmware版本、licence版本是否与主设备一致，不一致需升级或换成相同版本才能继续测试。 （必需要在firmware、licence版本一致情况下才能配置双机操作） 7.4.2 升级系统版本 系统license版本不一致，升级版本 版本一致Licence 配置7.4.3 NSIP，更改默认ip和待换机器，启

33、动PCSecureCRT，设置为于主用串口线接客户端机同一网段，避免与主设备ip冲突。设置完成后保存配置重启。 （需注意：子网掩码必须保证是同类网段的正确子网掩码） 7.4.4 配置节点 。，对端为10在命令行状态下，在备机上添加主设备节点，本端端口号为有特殊的相关参数配置，需分别对主、备设备进行配置，因、interface若vlan 为它们无法同步。目录的（在客户现场，若有宕机后的配置文件要恢复，将备份文件放入/nsconf ）相同位置对备机配置进行恢复，重启生效。 添加对端节点 查看节点状态 配置备机保持备机状态，防止自动切换损失数据，查看状态； 保存配置 7.5 同步配置 在主设备状态下

34、，使用命令行同步配置高可用性对；几分钟之后验证同步状态。 备机验证同步状态； 主设备保存配置 释放备机保存状态，保存配置，完成双机配置。 查看释放保持备机后的状态 保存配置 刷新配置，双机配置成功； 双机切换成功；更换设备完成； 7.6 小结 1. 开始测试时，务必保持机器原配置及相关证书，以及保存操作日志记录。 2. 备机配置时，需先将其设置为staysecondary状态，防止系统自动切换丢失数据，或造成其它不可预知的损失 3. 更换备机并同步双机完毕，如果需要，将相关备份的配置、证书导入并执行。 8 Netscaler HA环境下firmware在线升级 8.1 配置测试准备 8.1.1

35、 测试环境 硬件：HA环境Netscaler 2台，交换机，客户端PC，网线3根，串口线； 软件：SecureCRT、IE explorer/ firefox； （若是客户case，与客户详细确认维护升级的具体时间、地点、当时所做操作等，沟通约定现场确认时间及可处理时长。） 8.1.2 测试准备 在已配置好的HA环境下，将客户端PC ip设置为与Netscaler 同网段地址及相应子网掩码， （Netscaler默认ip为 或启动机器后面板中查看） 8.2 配置测试过程 8.2.1 主设备配置保存 将客户端PC分别在web程序和SectureCRT接入主设备，保存主设

36、备配置文件(/nsconfig) 以及相关证书（/ssl）等文件， 保存配置 备份下载需要的证书到本地； 8.3 备机升级 8.3.1 备机配置准备提前准备好指定的firmware版本，将备机保持在线状态，命令行设置备机保持secondary状态，web程序进入系统界面导入指定firmware，准备升级。 8.3.2 升级备机版本 SectureCRT接入备机，设置保持备机STAYSECONDARY及双机DISABLE，防止系统自动切换双机及同步。 进入Web应用程序，原有firmware版本 导入指定要升级的firmware版本，自动重启完成。 重启后，nsroot/nsroot登陆，查看确

37、保node属性配置是如预期（该机器属备机，同步不可用） 命令行配置解除保持备机状态，启用同步，并切换已经升级好的备机作为主机。查看预期状态。 Web应用查看切换状态如下 保存配置 8.4 升级主机版本 接入原主设备（现已为备机），登陆Web应用程序，导入与刚升级备机相同的firmware版本，安装好后自动重启完成， show ha node查看状态，并切换回主机。 Web程序查看如下 8.5 启用同步 在原备机中show node 查看属性状态，确保是备机。 等待几分钟后，启用并验证同步的备机配置。 保存配置 相互切换主备状态时，在线业务会丢失一两个数据包： 8.6 小结 1. 开始测试时，务

38、必保持机器原配置及相关证书等文件，以及保存操作日志记录。 2. 备机配置时，需先将其设置为staysecondary、disable状态，防止系统自动切换同步双机，或造成其它不可预知的损失。 3. 更换备机并同步双机完毕，如果需要，将相关备份的配置、证书等备份文件导入并执行。 9 Netscaler在线更换电源模块指导手册 9.1 备件确认 9.1.1 外观确认 更换操作前，确认所拿到的电源是否是要求的直流(DC)或交流（AC）电源，是否符合相应平台机型所对应要求的电源PN。 检查备件外观，仔细查看是否存在运输、库存过程中存在的物理故障损伤(如阵脚弯曲等)，避免造成电源槽、机器主板等再次损伤。

39、 9.1.2 Netscaler全系列 DC/AC电源PN表 NetScaler MPX系列硬件平台规格直流电源（DC）PN： NetScaler Hardware Platform Mfg. PN 853-00024-01 NetScaler MPX 15000 853-00024-01 NetScaler MPX 17000853-00019-01NetScaler MPX 7500 853-00019-01 NetScaler MPX 9500 853-00019-01 NetScaler MPX 9700853-00019-01 NetScaler MPX 10500853-00019-01NetScaler MPX 12500 NetScaler硬件平台规格交流电源（AC）PN： Platform Mfg. Part Number for original power supplies Citrix NetScaler 9000, 10000, 12000 - 500W AC Power Supply 853-00006-00 Citrix NetScaler MPX 7500, 9500, 10500, 12500, 15500 - 450W 853-00007-00 AC Power Supply Citrix