Citrix Netscaler 日常维护指导书

Citrix Netscaler日常维护指导书目录1NETSCALER体系结构51.1文件系统51.2目录结构61.3体系结构91.4Netscaler启动和运行102NETSCALER命令行操作102.1命令行和所有命令102.2命令行使用112.3Netscaler基本操作命令(LB相关)113状态查看153.1Statistical Utility(Dashboard)153.2stat命令183.3show命令214日志收集274.1Netscaler无响应（假死）274.2Netscaler系统故障或者功能性故障274.2.1高可用性故障304.2.2负载均衡故障314.2.3全局负载均衡故障335日常维护355.1告警与处理355.2诊断工具355.2.1抓包工具355.2.2Log查看工具365.2.3配置查看工具385.3实时数据与统计信息395.3.1实时数据395.3.2统计信息426NETSCALER硬盘检测更换步骤446.1测试准备446.2检测、更换步骤447NETSCALER双机环境下更换备机步骤477.1测试环境477.2测试准备477.3主机设置487.3.1主设备配置保存487.4备机配置497.4.1备机更换前确认497.4.2升级系统版本507.4.3NSIP配置517.4.4配置节点527.5同步配置537.6小结568NETSCALERHA环境下FIRMWARE在线升级578.1配置测试准备578.1.1测试环境578.1.2测试准备578.2配置测试过程588.2.1主设备配置保存588.3备机升级598.3.1备机配置准备598.3.2升级备机版本598.4升级主机版本628.5启用同步648.6小结669NETSCALER在线更换电源模块指导手册679.1备件确认679.1.1外观确认679.1.2Netscaler全系列 DC/AC电源PN表679.2更换过程689.2.1配置保存689.2.2更换步骤689.3状态查看6910NETSCALER MPX 版本NSROOT 密码恢复701 Netscaler体系结构1.1 文件系统 /var - Hard DriveLogs - /var/log and /var/nslogInstall - /var/nsinstallTrace - /var/nstraceCore Dumps - /var/crash and/var/core/flash - Flash DriveConfig - /flash/nsconfigSSL Certificates -/flash/nsconfig/sslUser Monitors -/flash/nsconfig/monitorsCustom options - /flash/nsconfigNS Kernel - /flash/ - RAM DriveOS1.2 目录结构/var/log /var/log中的重要文件 Ns.log Messages /var/log其他文件 Httperror.log cron Dr_error.log Httpaccess.log License.log Nscollect.log Nsvpn.log Nsvpnd.log Snmpd.log /var/nslog /var/nslog中重要文件 newnslog newnslog.*.gz /var/nslog其他文件 ns.log nsumond.log nslog.nextfile /netscaler和/nsconfigNetscaler运行的进程Netscaler核心进程 Nswsrun Run Citrix NetScaler OS Nsvpnd SSL VPN File Transfers Samba Nsaaad RBA and SSL VPN External Auth Nsconf Writes the ns.conf file Nsauthd CLI Authentication Nslog.sh Controls Logging for newnslog Nssync HA Sync 由nssync.sh启动，在secondary 上active，用来从primary同步配置 Nsreadfile Used to read SSL Cert Files Nscrlrefresh SSL CRL list update Nslcd LCD面板控制程序 Nsfsyncd 同步书签和SSL证书 Nsnetsvc GUI上的配置修改，第三方接口 Nsumond 用户自定义脚本监控处理进程 Nsconmsgnewnslog日志控制程序 Nsmap 读取GSLB静态IP地址库 Nsrip, nsospf, nsbgp 路由进程 Nsdrevent 处理事件，HA sync nssync.sh Nsm 路由进程(运行ZebOS) Imi 路由进程1.3 体系结构 The NetScaler design is based on a layered model between the NetScaler Kernel, and the BSD Operating System The NetScaler kernel operates below the BSD kernel, and controls - Time slicing for BSD - Network packet processing - SNMP and syslog processing - SSL Offload BSD manages - The boot process - File system access - Long-term logging Management Processes BSD and NetScaler share memory managementNetscaler和FreeBSD1.4 Netscaler启动和运行/etc/rc rc_local_pass0 配置磁盘，调用check_disk等函数 prepare_var 文件目录权限设置，清除、创建等 prepare_sslvpn SSLVPN相关配置 prepare_nsconfig /nsconfig目录下相关文件和目录确定 rc_local_pass1 配置网络、网卡、网络参数 start_daemonsrc.conf.defaults rc_local_pass2 启动Netscaler(netscaler.sh start) 和日志记录(start_logging函数) nsstart.sh nsconfig S2 Netscaler命令行操作2.1 命令行和所有命令 Classic CLI Contextual CLI FreeBSD CLI2.2 命令行使用 help set cli mode man add lb vserver(支持tab) man adlbvser tab或?命令补齐 history命令历史 alias命令别名 grep,more管道 命令行编辑 range功能2.3 Netscaler基本操作命令(LB相关) add/rm lb vserver set/unset lb vserver bind/unbind lb vserver enable/disable lb vserver show lb vserver add service add server add serviceGroup help lb help basic添加Vserver添加serviceVserver和Service绑定修改和删除Vserver修改和删除Vserver禁用service3 状态查看3.1 Statistical Utility(Dashboard) 显示当前状态 无历史记录 实时显示性能状态信息 状态信息每7秒更新一次 每个dashboard都消耗CPU时间系统日志（System Log）内置固定图表自定义画图自定义图表Vserver/Service 状态3.2 stat命令 Stat commands derive rate and stats from performance records Deltas are computed off of the two previous records Live versions of the stat command output can be seen in the 6.1+ statistical dashboard Provides the most commonly needed statistics without flooding the user with data, i.e. user friendly statistics Man commands can be used to provide help for individual field values, i.e. “man stat lb vserver” Stat Commandsstat lb vserver显示LB Vserver状态信息stat lb vserver显示LB Vserver状态信息stat HA node显示高可用协议状态Stat service显示service状态信息Stat interface Stat serviceGroup3.3 show命令从Netscaler内核获取配置数据的快照Show 网络相关 show arp show bridgetable show channel show interface show lacp show route show vlan show rnat show ipshow arp/show ip/show routeShow ns 相关 show ns acl show ns config show ns s o s connectiontable show ns feature show ns hostnameshow ns httpParam show ns infoshow ns ip show ns ip6 show ns license show ns mode show ns ns.conf show ns persistencesession show ns rateControl show ns runningConfigshow ns version show ns statsShow connectiontableshow ns config显示NS全局配置Show ns featureshow ns ip和show ns versionshow Load balancing相关 show lb show server show service show serviceGroup show vservershow lb vserverShow serviceshow serviceGroup4 日志收集 Netscaler发生故障后，需要现场工程师收集相关的日志，针对故障的表现方式不同，日志收集方式也不同。4.1 Netscaler无响应（假死）Netscaler无响应（假死）是指通过Web、Console口、串口均无法登陆Netscaler设备，现象如下：客户机与服务器不再有穿越流量SSH登陆无效GUI登陆无效控制台无响应LED无显示此时Netscaler已经没有办法通过程序上进行控制和修复，只能进行重启。在使用过程中，Netscaler确实会出现假死情况。为了便于分析假死原因，我们要求Netscaler设备在假死状态下强制生成 core dump文件并重启。通过按住Netscaler设备面板上的NMI键1可以使假死的Netscaler生成 core dump文件并重启。注：1、 请确保所有操作无效，再按下NMI键。如果任一操作仍有效，其他处理方法更优。2、 NMI键重启会比直接重启耗费更长的时间，该时间有Netscaler设备型号和内存大小决定，时间范围为1045分钟。3、 生成的core dump文件存于Netscaler设备的/var/crash目录下，收集该日志需要管理员权限用户登录Netscaler设备进行拷贝。4.2 Netscaler系统故障或者功能性故障Netscaler系统故障或者功能性故障定义为：通过Web、Console口、串口的一种或者几种方式可以登录Netscaler设备进行维护和命令的执行，该故障可以是依然存在或者是已经恢复的。为了便于定位分析原因，需要取得Netscaler所记录的运行日志。取得运行日志的方法为：1、 通过管理员权限登录Netscaler设备，执行show techsupport命令【2】：2、 屏幕回显如下：注意：1、 如果功能性故障为硬盘损坏，该日志将不能生成，我们直接走故障恢复流程即可。2、 如果Netscaler设备是HA部署，我们也需要在另一台设备执行该命令。3、 文件生成后保存在Netscaler设备的/var/tmp/support目录下，通过FTP软件将日志文件拷贝到本地，描述一下问题现象以及发生点，发给维护工程师。4、 Web查看也可保存techsupport日志文件。成功生产日志文件后，可以点击download下载压缩的日志文件，或者到拷贝图中路径中的文件。对于netscaler常用的功能特性故障【3】，可以根据以下故障现象进行比对，然后采取相应的措施。4.2.1 高可用性故障 故障现象： HA同步失败 双机状态的频繁切换 命令传输失败采取的措施：1. 查看HA的双节点配置Web查看： 命令查看： 2. 查看接口信息Web查看：命令查看： 3. 提取两台netscaler中的ns.conf配置文件.（附表1） 4. 提取两台netscaler中的newslog日志文件.（附表1）4.2.2 负载均衡故障故障现象： 服务性能异常 虚拟服务器性能异常 响应缓慢采取的措施：1. 查看虚拟服务器的配置Web查看：命令查看：2. 查看后台服务的状态：Web查看：命令查看：3. nstrace的抓取Web抓取：命令抓取：4.2.3 全局负载均衡故障故障现象： 流量没有流向指定的site MEP协议不成功 远端site服务失效 Proximity功能失效采取的措施：1. 所有site上的ns.conf配置文件收集2. 最新的newnslog文件收集3. 查看gslb中site状态Web查看：命令查看：4. 查看正在运行的gslb的配置信息命令行：5 日常维护5.1 告警与处理Netscaler设备已经纳入华为云计算统一监控平台中，当Netscaler发生故障后，华为omsportal会产生相应的告警。目前云平台对Netscaler设备的监控项有如下：NetScaler CPU温度超过阈值NetScaler CPU占用率超过阈值NetScaler硬盘使用率超过阈值NetScaler内存占用率超过阈值NetScaler备用服务器故障NetScaler SSL证书过期NetScaler主服务器检测不到备服务器的心跳NetScaler升为主服务器NetScaler降为备用服务器NetScaler HA无心跳注：关于各个监控项的解释与处理请参考华为云计算产品手册。5.2 诊断工具Netscaler提供多种诊断工具4，我们可以通过诊断工具获取相应的log文件，用于分析和查看netscaler的工作状态。以下是Netscaler常用的诊断工具（Web查看system-Diagnostics）。5.2.1 抓包工具Netscaler提供抓包工具，位于Diagnostics面板中的Technical Support Tools. 点击Start new trace后打开Trace面板。Trace面板中将Packet Size的默认值164改为0，避免将捕获的数据包分片。我们建议使用nstrace作为Trace file format，该格式可以记录vlan tag等信息。5.2.2 Log查看工具Netscaler的Diagnostics面板中Manage Logs部分，包含查看newnslog中的具体内容。Newnslog作为主要log文件，包含大量信息，可以通过以下查看常用信息。View events用于查看事件信息以及对应的发生事件，在命令行模式下可以利用图中的命令进行查看。 View console messages用于查看控制台信息，如当发生IP地址冲突等故障时，故障提示信息将记录与此部分。在命令行模式下可以利用图中的命令进行查看。5.2.3 配置查看工具Netscaler的Diagnostics面板中包含View Configuration部分，其中configuration difference可以用于比对running configuration和saved configuration的信息。 点击configuration difference，browse中选择保存配置文件ns.conf的路径，则可以进行比对。 5.3 实时数据与统计信息Netscaler提供友好的方式供我们查询实时数据与统计信息，我们可以根据这些信息了解整个云平台负载以及连接状况，同时也能了解Netscaler自身的健康情况。5.3.1 实时数据实时数据可显示系统实时运行情况，供维护人员参考维护。1、 查询Load Balance的当前连接信息：Web查看： 命令查看：2、 查询当前ICA连接信息：Web查看：命令查看：3、 实时数据统计：DashboardDashboard页面提供强大的时候信息统计功能，并且能以图表的形式呈现出来。 CPU、内存、流量、请求统计：当CPU与内存占用持续过大（60%）时，应该引起注意。 左侧的页签中有Select选择框，可以更具自己需要进行选择，如下：比如我们关注IP包的传输情况，选择“IP Packets receive vs.transmitted”，可以得到IP包传输速率： 右侧的页签中有Select Group选择框，可以更具自己需要进行选择，如下：比如我们需要查看各个网口情况，可以选中interface项，当发现收发包异常过大时，应该引起注意。如下：选中端口后，在下面将显示出更为详细的信息，可以作为维护人员参考诊断用，如下：5.3.2 统计信息统计信息可以提供一个时间段内的统计数据，可以供维护人员了解运行趋势。统计信息在登录后Web页面的 Reporting 页签下：1、 查看在线用户数趋势：左侧导航栏选择：选择自定义显示周期，显示如下：2、 查看一周内CPU、内存、数据包请求趋势图左侧导航栏选择：、 选择显示周期，显示如下：3、 查看一周数据包收发趋势左侧导航栏选择：选择显示周期，显示如下：其他信息可以根据审计需求自行查询。6 Netscaler硬盘检测更换步骤6.1 测试准备将待测硬盘插入Netscaler机器，用串口线连接笔记本和机器串口，启动SecureCRT配置好相应端口准备测试。启动电源开始测试。6.2 检测、更换步骤提前备份配置,证书,license等文件!1、启动查看检测进程，硬盘是否可以检测到设备并进入系统（硬盘无法读取，则可判断硬件故障）；2、若可进入系统，验证硬盘是否可mount；（硬盘故障，缓存已满，检测不到/dev/ad0s1e /var，硬盘无法mounted，可判断硬盘物理故障）3、Shutdown 关机，准备更换硬盘。4、手动更换可用硬盘。5、按电源开关，重新启动机器，进入系统检测。（进入shell，df h 查看硬盘挂接状态，更新后的硬盘可mounted）6、进入文件系统，新建及删除文件，验证硬盘的可读写性。（可正常读写，新硬盘无问题）Vi 新建文件及内容，测试硬盘可读写性；查看文件信息，删除文件；7、故障硬盘更换完毕，新硬盘可正常使用。7 Netscaler双机环境下更换备机步骤7.1 测试环境硬件：Netscaler 2台，交换机，客户端PC，服务器端PC，网线3根，串口线；软件：SecureCRT、IE explorer/ firefox；7.2 测试准备将客户端PC ip设置为与Netscaler 同网段地址（Netscaler默认ip为， 或启动机器后面板中查看）7.3 主机设置7.3.1 主设备配置保存将客户端PC、主设备接入网络，保存主设备配置文件/nsconfig ，查看主设备firmware版本、licence版本。保存配置系统版本Licence版本7.4 备机配置7.4.1 备机更换前确认在离线状态下启动待还机器，查看默认IP，设置客户端IP与机器同一网段， web程序进入系统界面，检查待换机器的firmware版本、licence版本是否与主设备一致，不一致需升级或换成相同版本才能继续测试。（必需要在firmware、licence版本一致情况下才能配置双机操作）7.4.2 升级系统版本系统license版本不一致，升级版本Licence版本一致7.4.3 NSIP配置用串口线接客户端PC和待换机器，启动SecureCRT，更改默认ip，设置为于主机同一网段，避免与主设备ip冲突。设置完成后保存配置重启。（需注意：子网掩码必须保证是同类网段的正确子网掩码）7.4.4 配置节点在命令行状态下，在备机上添加主设备节点，本端端口号为0，对端为1。若vlan、interface有特殊的相关参数配置，需分别对主、备设备进行配置，因为它们无法同步。（在客户现场，若有宕机后的配置文件要恢复，将备份文件放入/nsconf目录的相同位置对备机配置进行恢复，重启生效。）添加对端节点查看节点状态配置备机保持备机状态，防止自动切换损失数据，查看状态；保存配置7.5 同步配置在主设备状态下，使用命令行同步配置高可用性对；几分钟之后验证同步状态。备机验证同步状态；主设备保存配置释放备机保存状态，保存配置，完成双机配置。查看释放保持备机后的状态保存配置刷新配置，双机配置成功；双机切换成功；更换设备完成；7.6 小结1. 开始测试时，务必保持机器原配置及相关证书，以及保存操作日志记录。2. 备机配置时，需先将其设置为staysecondary状态，防止系统自动切换丢失数据，或造成其它不可预知的损失3. 更换备机并同步双机完毕，如果需要，将相关备份的配置、证书导入并执行。8 Netscaler HA环境下firmware在线升级8.1 配置测试准备8.1.1 测试环境硬件：HA环境Netscaler 2台，交换机，客户端PC，网线3根，串口线；软件：SecureCRT、IE explorer/ firefox；（若是客户case，与客户详细确认维护升级的具体时间、地点、当时所做操作等，沟通约定现场确认时间及可处理时长。）8.1.2 测试准备在已配置好的HA环境下，将客户端PC ip设置为与Netscaler 同网段地址及相应子网掩码，（Netscaler默认ip为 或启动机器后面板中查看）8.2 配置测试过程8.2.1 主设备配置保存将客户端PC分别在web程序和SectureCRT接入主设备，保存主设备配置文件(/nsconfig) 以及相关证书（/ssl）等文件，保存配置备份下载需要的证书到本地；8.3 备机升级8.3.1 备机配置准备提前准备好指定的firmware版本，将备机保持在线状态，命令行设置备机保持secondary状态，web程序进入系统界面导入指定firmware，准备升级。8.3.2 升级备机版本SectureCRT接入备机，设置保持备机STAYSECONDARY及双机DISABLE，防止系统自动切换双机及同步。进入Web应用程序，原有firmware版本导入指定要升级的firmware版本，自动重启完成。重启后，nsroot/nsroot登陆，查看确保node属性配置是如预期（该机器属备机，同步不可用）命令行配置解除保持备机状态，启用同步，并切换已经升级好的备机作为主机。查看预期状态。Web应用查看切换状态如下保存配置8.4 升级主机版本接入原主设备（现已为备机），登陆Web应用程序，导入与刚升级备机相同的firmware版本，安装好后自动重启完成，show ha node查看状态，并切换回主机。Web程序查看如下8.5 启用同步在原备机中show node 查看属性状态，确保是备机。等待几分钟后，启用并验证同步的备机配置。保存配置相互切换主备状态时，在线业务会丢失一两个数据包：8.6 小结1. 开始测试时，务必保持机器原配置及相关证书等文件，以及保存操作日志记录。2. 备机配置时，需先将其设置为staysecondary、disable状态，防止系统自动切换同步双机，或造成其它不可预知的损失。3. 更换备机并同步双机完毕，如果需要，将相关备份的配置、证书等备份文件导入并执行。9 Netscaler在线更换电源模块指导手册9.1 备件确认9.1.1 外观确认更换操作前，确认所拿到的电源是否是要求的直流(DC)或交流（AC）电源，是否符合相应平台机型所对应要求的电源PN。检查备件外观，仔细查看是否存在运输、库存过程中存在的物理故障损伤(如阵脚弯曲等)，避免造成电源槽、机器主板等再次损伤。 9.1.2 Netscaler全系列 DC/AC电源PN表NetScaler MPX系列硬件平台规格直流电源（DC）PN：NetScaler Hardware PlatformMfg. PNNetScaler MPX 15000853-00024-01NetScaler MPX 17000853-00024-01NetScaler MPX 7500853-00019-01NetScaler MPX 9500853-00019-01NetScaler MPX 9700853-00019-01NetScaler MPX 10500853-00019-01NetScaler MPX 12500853-00019-01NetScaler硬件平台规格交流电源（AC）PN：PlatformMfg. Part Number for original power suppliesCitrix NetScaler 9000, 10000, 12000 - 500W AC Power Supply853-00006-00Citrix NetScaler MPX 7500, 9500, 10500, 12500, 15500 - 450W AC Power Supply853-00007-00Citrix NetScaler MPX 15000, 17000 - 700W AC Power Supply853-00025-01Citrix NetScaler AC Power Cable - China (Rating:10A 250V)853-00011-00 or 768-00002-00Citrix NetScaler AC Power Cable - Japan (Rating: 10A 125V)853-00012-00 or 768-00007-00Citrix NetScaler AC Power Cable - Australia (Rating:10A 250V)853-00013-00 or 768-00003-00Citrix NetScaler AC Power Cable - Switzerland (10A 250V)853-00014-00 or 768-00006-00Citrix NetScaler AC Power Cable - UK, Ireland, Hong Kong (Rating: 13A 250V)853-00015-00 or 768-00004-00Citrix NetScaler AC Power Cable - Continental Europe (16A 250V)853-00016-00 or 768-00005-00Citrix NetScaler AC Power Cable - US (Rating:15A 125V)853-00017-00 or 768-00001-00Citrix NetScaler AC Power Cable - Korea (Rating: 10A 125V)853-00018-00 or 768-00008-009.2 更换过程9.2.1 配置保存更换前（原有一个可用电源在线运行），进入web应用保存系统配置。（防止更换过程中意外断电造成配置信息丢失）9.2.2 更换步骤旧电源断电，按电源手柄轻摆拉出旧电源。小心取出新电源，对齐电源插槽插入电源。（对好插槽阵脚，摁住压力滑至电源完全入槽释