Check+Point防火墙设备故障处理指导手册+V2.0

CheckPoint防火墙故障处理指导手册V2.12012/03/301文档修订记录标题标题CheckPointV2.1文档类型管理文档设计方案实施文档√配置文档测试文档其他当前版本V2.0文档作者陈世雄文档审阅刘刚创建日期2012/03/30文档名称CheckPointV2.1版本变更V2.02012/03/30V2.1添加coredump搜集的详细操作步骤文档说明2012/3/30CheckPointCheckPoint版权说明2目 录文档描述 5故障排错流程 6防火墙故障处理流 6故障级别定义： 6防火墙故障处理 7防火墙一级故障处理： 7防火墙二级故障处理： 11防火墙三级故障处理： 14防火墙四级故障处理： 15防火墙路由故障处理： 15故障现象检查 16问题节点确认 16防火墙硬件问题 17网络环境问题 19防火墙软件问题 20防火墙性能问题 21功能模块Debug过程 22防火墙KernelDebug命令 235.1.1 概述 23Debugflagsandmodules: 23Debug的buffer: 23参考的命令 23正常流量被拦截的排查流程 25VPN故障排查流程 26VPNDebug的排错流程 28EndopointConnect连接问题排错流程 28ClusterXL排错流程 32开始ClusterXLdebug前需要检查的项目 35CluseterXL问题的Kerneldebug命令 35防火墙日志问题排错流程 37策略下发失败的问题排错流程 38Voip协议的排错流程 39防火墙巡检报告 40防火(FW)信息输入 43管理服务(SMC)信息输入 43防火墙物理层运行状况检查 44硬件资源使用情况 44硬件资源健康检查 44防火墙系统层运行状况检查 45系统运行日志分析 453系统安全配置检查 45系统与策略备份检查 46系统垃圾文件检查 46防火墙应用运行状态检查 46防火墙进程检查 46防火墙链接表检查 47ClusterXL状态检查 47SecureXL状态检查 48防火墙流量分析 48防火墙License检查 49管理服务器安全检(Windows) 494文档描述本文档用于CheckPoint信息，以下主要对防火墙的相关故障所需获取的信息及排错过程进行描述。首先，防火墙设备存在的故障问题主要分如下几大类：设备崩溃问题导致的宕机等情况。性能处理问题现访问缓慢等情况。业务访问问题适用于业务数据流通过防火墙之后出现的业务不通，或访问缓慢等情况。OSPF适用于防火墙启用动态OSPF路由协议的环境，如出现OSPF注意：运行命令过程中需启用终端软件的日志记录功能，记录所有操作会话。5故障排错流程防火墙故障处理流错。流程主要集中在防火墙的问题进行说明，以下对流程进行说明：故障级别定义：故障级别1级级

影响对业务运营造成灾难性影响网络或系统停机，导致客户业务完全停止服务；连续不断或经常发生的不稳定性大部分网络连接中断或被隔离；严重影响业务运营。•对最终客户造成间歇影响的网络或系统事件；主或备做冗余设备发生故障；无法进行例行管理或诊断功能；6级级级级需要的关键功能无法实现；由于硬件部件故障导致业务出现间歇性故障。只对最终客户造成有限影响的网络事件；有现成的成功临时变通方法，可以用来解决优先级较高的问题信息请求；有关设备配置或功能的标准问题。有关设备相关信息提供说明。防火墙故障处理A:一级故障定义：对业务运营造成灾难性影响网络或系统停机，导致客户业务完全停止服务；如：防火墙系统crash，且未发生切换，业务完全受阻。B:信息内容搜集：如无法快速判断故障问题，请抓取最基本数据：注意需要收集两台设备信息如无法通过SSH登录设备，请通过原装console线登录设备命令行收集，所有会话需要记录到文件。IP平台设备信息搜集:设备宕机没有切换，硬关机，然后加电重启设备，使用Console登录系统后搜集所有coredump/var/crash[admin]#find/-name"*core*"/var/crash/vmcore.0.gz/var/crash/vmcore.1.gz/var/crash/vmcore.2.gz搜集系统CSTCST是ConfigurationSummaryToolCSTIPSO-A[admin]#cst–small命令，缩短搜集CST的时间，搜集完整的CSTIPSO-A[admin]#cstCSTversion2007-09-26===============NOTICE:VOYAGERLOCKS=========================PleasemakesureyouareloggedoutofVoyager.CSTgatherscertaininformationfromclish,whichmaynotworkwhenthereisaconfigurationlockinplaceestablishedbyanactive7Voyagersession.===============END OF NOTICE =========================Continue?[y]yOutputDirectory?/var/tmp CST注意:ECST文件，其路径在/opt/ecst_output。如果设备完全挂起，接入console口没有任何输出的情况下，或者如下情况：SystemhangCompletelossofconnectivityNoconsoleloginpromptTransientfailure/performanceconditionsOutofmemoryconditionsOutofswapconditions请通过如下步骤搜集信息，首先准备如下设备，一个DTE(DateTerminalEquipment)支持数据通信标准EIA/TIA-232的console线连接到IPSOconsole接口.必须通过如下Terminal工具登录:HyperTerm,SecureCRT(Windows)cuortip(UNIX)Serialconsole(terminal)server.Dumbterminal.DTE串口属性设置参数9600bps8databits1stopbitNoparityNoflowcontrolconsoleconsole首先敲键盘“Break”键，然后立即执行”ddb”,屏幕上不会显示任何输出。Crash1~3如果有输出信息后，输入ps命令(观察并且搜集进程信息)tracetrace信息)continueIPSO36panicdump一个core文件并且重启)coresupport。到ipso系统使用命令[admin]#find/-name"*core*"确认找到core文件,同时从$FWDIR/bin/boot/modules目录下尽量搜索并且得到所有的*.o文件。8Power-1UTM-1如无法快速判断故障问题，请抓取最基本数据：注意需要收集两台设备信息如无法通过SSH登录设备，请用原装console线登录设备命令行收集，所有会话需要记录到文件。设备宕机没有切换，硬关机，然后加电重启设备，使用Console登录系统后搜集所有coredumpSecurePlatformOS2.4启用生成UserModecoredump文件:进入Expert模式#expertcoredump'unlimited'#ulimit-a#ulimit-cunlimited#ulimit-a注意:如需禁用则允许'ulimit-c0'命令确认'/etc/sysctl.conf'文件中如下行的输出为1#ControlswhethercoredumpswillappendthePIDtothecorefilename.#Usefulfordebuggingmulti-threadedapplications.kernel.core_uses_pid=1校验LKCD（LinuxKernelCrashDump）工具的级别设置如下#less-N-M/etc/sysconfig/dump到输出信息的最后查看如下输出的参数一直，如果数值不一致则使用vi编辑工具修改为如下值。DUMP_ACTIVE=1DUMPDEV=/dev/vmdumpDUMPDIR=/var/log/dumpDUMP_SAVE=1DUMP_LEVEL=8DUMP_FLAGS=0DUMP_COMPRESS=0PANIC_TIMEOUT=5LKCD#/sbin/lkcdconfig确认如下目录已经存在/var/log/dump/usermode如果没有，需要创建一个目录。#mkdir-p/var/log/dump/usermode保存配置，重启设备9#reboot当下次设备发生挂起或者重启时，系统会记录下coredump信息到如下文件。/var/log/dump/usermode/ProcessName.PID.coreSecurePlatformOS2.6启用coredump的步骤启用生成UserModecoredump文件:进入Expert模式#expertcoredump'unlimited'#ulimit-a#ulimit-cunlimited#ulimit-a注意:如需禁用则允许'ulimit-c0'命令确认'/etc/sysctl.conf'文件中如下行的输出为1#ControlswhethercoredumpswillappendthePIDtothecorefilename.#Usefulfordebuggingmulti-threadedapplications.kernel.core_uses_pid=1确认如下目录已经存在/var/log/dump/usermode如果没有，需要创建一个目录。#mkdir-p/var/log/dump/usermode保存配置，重启设备#reboot当下次设备发生挂起或者重启时，系统会记录下coredump信息到如下文件。/var/log/dump/usermode/ProcessName.PID.core也可以通过命令搜索coredump[admin]#find/-name"*core*"/var/crash/vmcore.0.gz/var/crash/vmcore.1.gz/var/crash/vmcore.2.gzCoredump文件搜集到后将文件上传给TAC搜集系统cpinfoCpinfo是SecurePlatform(SPLAT)的配置文件、系统日志以及设备当前运行状态[R71-FWA]#expert 登入专家模式Enterexpertpassword:10Youareinexpertmodenow.[Expert@R71-FWA]#cpinfo-n-z-o/var/tmp/FWA.cpinfo 执行命令导出cpinfo(I:0110): Beginning...cpinfo (I:0116): Latest cpinfo /downloads/cpinfo(I:0112): Embeddingfiles...cpinfo(I:0117): Zippingoutputfilecpinfo(I:0118): Zippingoutputfile-done(/var/tmp/FWA.cpinfo.gz)cpinfo(I:0111): Done[Expert@R71-FWA]#[Expert@R71-FWA]#[Expert@R71-FWA]#cd/var/tmp[Expert@R71-FWA]#ls-alttotal7380drwxrwxrwt4rootroot4096Nov617:10.-rw-rw----1rootroot7527853Nov617:10FWA.cpinfo.gzdrwxrwxrwt2rootroot4096Nov322:22vi.recover然后使用FTP工具将文件传出去供CheckPoint技术工程师分析。C：完成相关故障信息收集后，进行故障恢复处理1：进行防火墙倒换（故障设备为主设备，故障时未发生切换）如果是IPSO（IP）平台，做主备切换通过登录系统Web管理页面，修改备机所有VRRP接口的priority值高于主机即可实现切换。如果是SPLAT(Power-1或者clusterXL_adminoff物理切换操作：拔除故障防火墙设备业务连线，console连接到备机，观察备机的HA状态，状态变为Master后，观察业务。2:若拔线后，防火墙双机未发生切换，则重启故障防火墙。注意：此时请将console线连接故障防火墙console口，记录输出。D:请将相关信息提交给CheckPoint支持人员。A:二级故障定义：严重影响业务运营。对最终客户造成间歇影响的网络或系统事件；11如：防火墙系统拦截重要应用，或者部分网络不通。B:信息内容搜集：首先收集SmartViewTracker中存在问题源地址或者协议的日志截图kerneldebugdebug使用抓包命令和工具对故障业务进行抓包IP平台设备信息搜集:SmartViewTracker打开SmartDashboard选择SmartViewTracker存在问题的日志记录，将日志信息截图保存下来。CSTCST是ConfigurationSummaryToolCSTIPSO-A[admin]#cst–small命令，缩短搜集CST的时间，搜集完整的CSTIPSO-A[admin]#cstCSTversion2007-09-26===============NOTICE:VOYAGERLOCKS=========================PleasemakesureyouareloggedoutofVoyager.CSTgatherscertaininformationfromclish,whichmaynotworkwhenthereisaconfigurationlockinplaceestablishedbyanactiveVoyagersession.===============END OF NOTICE =========================Continue?[y]yOutputDirectory?[.]/var/tmp CSTfwmonitorfwmonitorCheckPoint状态，确认问题是发生在系统层，还是防火墙本身拦截了报文。[IPSO]#fwmonitor-e"acceptsport=21ordport=21andsrc=90ordst=53;"-o/var/tmp/monitor.capfwmonitor9053端口都是21的流量，并且将输出的内容记录在var/tmp/monitor.cap一个较全的例子，可以根据实际环境精简命令。[IPSO]#fwmonitor-e'PROTO_tcp,dport=8001orsport=8001;'-o/var/tmp/monitor.cap如上所示，是针对TCP8001800112则通过fwmonitor/var/tmp/如果协议属性是udpPROTO_udp[IPSO]#fwmonitor-e'PROTO_udp,dport=8001orsport=8001;'-o/var/tmp/monitor.captcpdumpTcpdump是系统抓包命令，通常是操作系统层的抓包，用来判断网络层数据包交互访问过程是否正常，所有使用的IP地址以真实环境中存在问题的IP或者协议来抓包。[IPSO]#tcpdump-vv-e-w/var/tmp/test.cap-ieth-s1/s2p4c0-nnsrc9anddst7如上tcpdump抓取接口eth-s1/s2p4c0上源地址为9访问到7的报文，通过-w命令将文件保存为/var/tmp/目录下test.cap文件。[IPSO]#tcpdump-vv-e-w/var/tmp/test.cap-ieth0port80anddst如上是抓取接口eth0上端口为80目标地址的命令，保存文件名为test.cap的文件到/var/tmp/目录。kerneldebug搜集zdebug启用后，默认的buffersize是1024KB,主要对fw、h323、cluster、vpn、rtmdebug，并开放1~2[admin]#fwctlzdebug+drop>/var/tmp/drops.txt如上命令是指搜集zdebugdropvar/tmpdrop.txtDebug一定程度上会造成CPU意不要长期在防火墙上开启DEBUG，关闭使用Ctrl+c所有信息搜集齐全后，打包交给CheckPointTAC工程师进行分析排错。Power-1UTM-1如无法快速判断故障问题，请抓取最基本数据：注意需要收集两台设备信息如无法通过SSH登录设备，请用原装console线登录设备命令行收集，所有会话需要记录到文件。SmartViewTracker与IPSO系统过程一样cpinfoCpinfo是SecurePlatform(SPLAT)的配置文件、系统日志以及设备当前运行状态[R71-FWA]#expert 登入专家模式13Enterexpertpassword:[Expert@R71-FWA]#cpinfo-n-z-o/var/tmp/FWA.cpinfo 然后使用FTPCheckPointfwmonitor搜集fwmonitor命令过程与上文IPSO系统过程一样。tcpdump搜集tcpdump命令与上文IPSO系统过程一样。kerneldebug搜集debug信息与上文IPSO系统过程一样SPLAT平台可以使用如下命令，将收集到/var/tmp目录的文件打包后通过ftp传出来;[Expert@R71-FWA]#tar-cvfinfo.tar/var/tmp如上信息收集完成后，将文件打包，上传到TACftp服务器。C:请将相关信息提交给CheckPoint支持人员。A:故障定义：只对最终客户造成有限影响的网络事件；测试或试运行环境中发现的问题，通常会对运营网络造成负面影响；有现成的成功临时变通方法，可以用来解决优先级较高的问题如：某应用无法访问到目标服务器B:单业务访问问题信息内容收集基本信息：SmartViewTracker搜集报错日志过程与上文过程一样。cpinfo（IPSO搜集命令过程与上文过程一样。cpinfo（SPLAT搜集命令过程与上文过程一样。fwmonitor搜集命令过程与上文过程一样。tcpdump14搜集命令过程与上文过程一样。kerneldebug搜集命令过程与上文过程一样。注：防火墙开启Debug一定程度上会造成CPU的升高，但绝大部分情况下不会影响太大。注意不要长期在防火墙上开启DEBUG，关闭使用Ctrl+c按键结束。如上信息收集完成后，将文件打包，上传到TACftp服务器，交给CheckPointTAC工程师进行分析排错。C:请将相关信息提交给CheckPoint支持人员。3.4．防火墙四级故障处理：信息请求；有关设备配置或功能的标准问题。请将相关需求信息邮件提交给CheckPoint维护人员。3.5．防火墙路由故障处理：A:故障定义：路由无法学到，对最终客户造成影响的网络事件；测试或试运行环境中发现路由的问题，通常会导致业务访问故障；如：防火墙动态路由无法学到B:SmartViewTrackerOSPF打开SmartDashboard选择SmartViewTracker然后过滤出OSPF协议，双击存在问题的日志记录，将日志信息截图保存下来。SPLAT在故障发生期间，登录SPLAT系统命令行，进入/var/log目录搜集routing_messages文件。[Expert@R71-FWA]#router routershowlocalhost>enlocalhost#showaccess-listinterfaceipv6 log running-confighistoryip kernel memory tasklocalhost#showrunning-configlocalhost#showipospfneighborsIPSO在故障发生期间，登录IPSO系统管理Voyager界面,选择'Configuration>Routing>15RoutingOptions'.在OSPF"All"Apply"/var/log下生成ipsrd.log.*的文件，搜集所有ipsrd.log.*的文件搜集系统cpinfo台）fwmonitor[admin]#fwmonitor-e'acceptip_p=89;'[admin]#fwmonitor-e"host=x.x.x.xanddst=x.x.x.xanddport=21,accept;"tcpdump[admin]#tcpdump-ieth-s3p1-s0-wdump.datipprotoospfIPSOOSPFnokia[admin]#iclidIPSO-A>showversionIPSO-A>showospfdatabasedatabase-summaryIPSO-A>showospfneighborsIPSO-A>showospfinterfacesIPSO-A>showospferrorsbriefIPSO-A>showospfeventsIPSO-A>showospfpacketsIPSO-A>showospfC:请将相关需求信息邮件提交给CheckPoint维护人员。故障现象检查首先发生故障后，首先从现象上要检查如下几方面：PC上进行PingARP信息是否与网关对应，同时确定不同VLAN关命令：pingx.x.x.x及arp–a（显示ARP）PC上进行Ping可以测试到客户端同侧防火墙接口以及跨防火墙安全区接口情况，同时确定不同VLANx.x.x.x。业务连通性：受影响范围的终端PCIPPing简单从业务的网络层面和应用层面确定业务是否正常。PC上进行针对业务IP点，相关命令：tracert–dx.x.x.x.问题节点确认问题与火墙无关，则跳过下面章节，问题与火墙有关，则进入如下章节进行分析。16防火墙硬件问题故障诊断 症状 第一步检查 第二步检查 建议设备无法启动

LCD面板显示如果设备可以"Initializing...登录Pleasewait...?Console

如果恢复出厂设置不能解决问题，则按照SK37231刷系统，重刷系统不能解

Console线诊断问题，RMA前先确认Restore toFactoryDefault。决，则需要RMA整个设备。产品在服务有效期内。硬盘故障硬盘灯不再闪烁，系统无法启动硬盘如果可以SK37231重刷系统。如果硬盘灯不闪烁，确认是否有第二块硬盘可用，如果可用，则按照SK37231重刷系统然后RMA故障的硬盘。如果两块硬盘都有故障，则RMA整个设备。Console设备确认是否启动，同时目测的方式检查硬盘灯状态是否工作。硬盘RAID故硬盘灯不再闪烁，如果硬盘工如果硬盘灯不闪烁，确认第通过Console连接障系统无法启动SK37231重刷系统则按照SK37231RMA块硬盘都有故障，则RMA个设备。设备确认是否启动，同时目测的方式检查硬盘灯状态是否工作。CPU硬件故障Muti-CPU不能工作进入设备BIOS恢复到出厂设置，进入系统后/proc/cpuinfo确认所有被识别。如果第一步检查不能解决问题，则按照SK37231决问题，则RMAConsole设备，要求用户按照前面步骤检查，如果不能解决则需RMA网卡接口故网卡在系统中不识运行lspci|更换网线，安装最新版本的通过设备面板上的障别grep–ieth查看系统识别的网卡。系统或者补丁进行网络检测。网卡LED灯故障LED灯不亮确认网卡参数端，确认网线有连接，运行Hardwarediagnostic如果第一步检查不能解决问题，则按照SK37231决问题，则RMA通过设备面板上的进行检测。tool 选择17风扇不转故风扇无法运转，设NetworkTest检查。确认该风扇是如果风扇不是模块化的，则Power以及其他高障备温度升高模块化可拆卸的，如果是则RMA风扇。需要RMA整个设备端设备是模块化的UTM-1等低端系列需要RMA机。设备Bios故设备启动后，LCD根据SK37231如果重刷系统不能解决问注意使用Hardware障屏幕显示”CheckPoint…”后Console没有任何输出重刷系统。题则需RMA整个设备diagnostictool进行检测，如果所有检测是Ok,则设备正常。一般性硬件故障设备无法启动用diagnostictool进行检测，确认所有Ok.如果测试失败，则按照SK37231重刷系统解决。当所有操作都检查后，仍然无法启动设备，则按照服务有效期对设备进行RMA。设备挂起、死Console无法登重新启动设按照SK37231重刷系统，如确认设备挂起的频机陆，网络中断备，安装最新版本的补丁程序。果重刷系统后依然存在问RMA率，检查设备运行的网络环境是否通风、温度、湿度是否合适系统无法完系统启动一半后停通过LCD屏幕如果第一步无法解决，则按无法启动系统时，成启动止，不能正常启动"Select:TemporaryRestore"(YES)，SK37231则需要对设备进行RMA。LCD的信息，重新安装LCD示Success.Console没有使用Console连接确认使用了系如果第一步检查没有解决默认参数是输出设备没有任何显示统自带的原装Console线，并且参数设置正确。问题，则按照SK37231重刷系统解决。重刷系统后，仍然存在问题则需要对设备进行RMA。Baudrate9600databits9电源无法工电源灯不亮，无法检查电源连如果有冗余电源，分别测试Power系列电源问作正常供电线，检查设备电源模块是否运转2个电源模块是否工作。RMA块，UTM系列电源问题需要RMA软件无法安使用CheckPoint确认使用的介确认刻录的介质以及USB光如果仍然无法安装在硬件上介质，在硬件上不能完成安装质是否支持对台，安装前先阅读软件介质驱是否工作正常装，则需要RMA设备。18的releasenotes的releasenotes网络环境问题故障诊断 症状 第一步检查 第二步检查 建议内网无法问 internet

内网无法问 internet

确认防火墙检查到达目标网段的网络之中策略、NAT、否有访问控制设备阻止访问，以及系统路如防火墙IPS或者访问控制设由配置正常。 备灯。

检查防火墙前后端网络，确认流量来回路由配置正确。火墙与邻居端口不UP,或确认两端设检查网线是否虚接，重新插拔网如果还不能解决，设备直连接者只有一端备网卡接口络接口卡，或者更换接口模块，考虑更换两端设备口无法启用UP，网络不通双工与速率以及MTU参数配置正确如果使用光纤接口，需要确认是单模、多模，使用的光纤线也要匹配的接口、板卡或者设备。内网无法通无法打开网防火墙内外如果防火墙是HA，则需要检查两如果某接口存在大过防火墙访页，或者访问接口抓包，查端路由配置是否一致，另外需要量某个源地址访问问internet速度非常慢看是否有大量来至固定区域的异常毒爆发的可能。注意是否有非对称路由特定端口的流量，建议在物理层断开存在病毒的主机。特定源地址无法访问指首先确认防首先将防火墙策略卸载该测试不建议在生无法穿过防火墙访问目标地址定目标地址火墙路由配将防火墙设备启用IP转发SPLAT平台:#echo1>/proc/sys/net/ipv4/ip_forwadIPSO平台:#ipsofwdadminonpingIPSPLAT#echo0>/proc/sys/net/ipv4/ip_forwadIPSO平台#ipsofwdadminoff产时间进行，建议通过单独的时间窗口执行。另外卸载NATNAT环境无法使用该测试。直连设备直连Ping防检查防火墙如果性能正常，问题可能发生在处于网络核心位置Ping到防火火墙都存在系统资源利网络部署层面，如内网接口配置的安全设备网络层墙接口有丢包现象丢包的问题用率是否在果系统资源过双接口，而且参与OSPF建议从简化防火墙部署拓扑层面，解决问题。部署越简单越好。19利用率居高不下，可能产生丢包。特定业务类在日志中显检查是否有使用zdebug检查是否被防火墙如果关闭掉状态检型无法穿过示被防火墙IPS拦截该访状态检测引擎拦截，如是则在全测后，还是被拦截，防火墙访问到目标地址drop略和网络都是正常问。局属性中关闭statefulinpectionTCPUDP则表明该协议对RFC协议的符合性有问题，建议规范化协议或者参考sk11088bypass该协某源地址的在日志中显检查是否有使用zdebug检查是否被防火墙议类型。如果关闭掉状态检ICMP无法穿示被防火墙IPS拦截该访状态检测引擎拦截，如是则在全测后，还是被拦截，过防火墙访问到目标地址drop略和网络都是正常问。局属性中关闭statefulinpection针对ICMP协议的检测。则表明该协议对RFC协议的符合性有问题，建议规范化协议或者参考sk11088bypass该协议类型。防火墙软件问题故障诊断部分网段无访 internet访问到internet

症状internet部分网段无访问，SmartViewTracker中到 spoofing

第一步检查检查防火墙的NAT由的配置topology属性anti-spoofingIP骗功能

第二步检查fwtabtconnections–s查看当前并发VALS值多大。然后使用fwtab–tconnections|greplimitation查看当前最大并发数值。如果开了Anti-spoofing功能，则需要把无法访问internet的网段加到TrustGroup中。

建议防火墙默认设置的防火墙型号大小设置支持的合理并发范围。如果客户网络精细化管理很好，则可以 Anti-spoofing要注意随时更新trust不知网络有哪些网段，则建议关闭该功能。防火墙进程CPU利用率高，如cpdfwd

CPU占用达到100%

登录系统命令行，执行真实状态。20

查找KB最新发布补丁的及时升级系统和防releasenotes,可能是软件火墙软件补丁的版bugCPU异常运行的可能。本，通常建议是升级到最新版本。找不到指定防火墙的log

log不转发到SmartCenter

登录获取命令 登录防火墙命令行，通过行，使用tcpdump抓取257端口的报文netstat–an|对防火墙与SmartCenter进行grep257端口，fwd与fwm的详情见查 看 与 附录debug步骤详解）SmartCenter是否有通信。

建议定期对防火墙与管理服务器进行补丁升级，通常建议升级到最新版本。业务流量高峰期下发策略导致ClusterXL切换

Cpu在下发策略期间激增，HA发生切换

检查CPU、MEM使用率

如果防火墙有合理调整默认dispatch与instance接口指定单独的CPU。

根据多核防火墙性能问题故障诊断CPU相关问题排错

症状SmartViewMonitor中发现CPU100%

第一步检查建议在防火墙top检查真实利用率

第二步检查本补丁。

建议此类问题可能由于Bug通常建议定期升级防火墙补丁版本。CPU利用率高 CPU利用率实高位运行CPU利用率高 CPU利用率实高位运行CPU利用率高 CPU利用率位运行

补丁#fwver–kCPU分配#fwctlmultikstat查看防火墙当前并发连接数量#fwtab-tconnections-s确认防火墙是否过载。21

CPU查看加速模块运行状态#fwaccelstat#fwaccelstats#fwaccelcons-sNATNAT较消耗系统CPU检查防火墙网卡承载的流量大小，#netstat–i。检查网络中流量的类型，是否小包数量较多。检查是否有启用Accounting、Alert、Qos、IPS以及过多的NAT策略与访问控制规则，以及记录过多策略的log.

如果没有启用加速命令#fwaccelon在HA环境中，如果有协议做状态同步在CPU负载过高时建议取消协议属性”Advance”中的Synchronizingconnections onCluster 属 性(HTTP/DNS/HTTPS)评估设备性能根据alllog。topCPU率发现SoftirqCPUnetstat口TX-DRP有大量数据fwctl命令输Sync属性示updatesasresult syncoverload:xxxxxx

CPU高，网络延时大和ping有丢包现象发生。Ping网络有延时，CPU利用率不高。主备防火墙会话同步的数量过fwtabconnections–s检查)

足。确认防火墙是命令fwaffinity--v–aCPU况。通过netstat–i检查接口上的传输丢包数量是否多。netstat 命令检查同步接口的数据传输状态，是否有 大 TX-DRP

检查是否几个网卡绑定在一个CPU上，使用#fwpprof-t1命令查看当前网卡分配的CPU情况。如有大量丢掉的TX-DRP利用率不高，说明瓶颈出口。率不小于业务接口速率的网同步接口。

注意需要考虑防火墙 instance 与dispatch的分配合理，调整instance使用cpconfig命令调整dispatch使用simaffinity命令。详情参考KB的sk36846出现此类问题，要么扩容接口速率，要么端口聚合，或者升级到更高端性能的硬件设备。两台防火墙做同步的链路聚合端口应注意配置端口链路执行free命在SPLAT执行令显示防火墙free命令或可用内存很少者IPSO执行top命令显示系统可用内存很少。

使用fw–tconnections–s检查当前会话是否超过设备所能处理的范围

如果不是并发或者流量太大的问题，我们在分析防火墙真实内存使用量时，应该是'free'+'buffers''cached'，即使用free-/+buffers/cachefree

防火墙会占用部分内存用于cache和buffer来加快处理'buffers'+'cached'的值。参考sk42717DebugDebugFW模块，又比如sitetositeVPN无法建立tunnel,或者ClusterXL模块异常的Failover等，根据这些不同的模块，有他们各自的debug标记，因此，下22面将对各模块相关的故障，如何使用debug进行详细介绍，使用debug特别需要注意以下几点:debug只需提取故障期间数据即可debug之前，先关闭SecureXL(fwacceloff)一定要抓取故障期间的debug2分钟以内Debug结束后一定要执行debug关闭命令KernelDebug概述:kerneldebug设置的标记来触发。debug的标记有选择的调试需要的消息。UNIXconsoledebug输出写到指定的文件。Debugflagsandmodules:所有的debug标记都会打包到“module”module:fw,h323.,cluster等。moduledebug标记(flag)标记是默认的，通常没有理由重置他们。其他的默认是关闭的，可以进行设置。fwctldebug–hmodule和标记(flag)的所有列表。Debugbuffer:debugconsolefwctldebug-bufbufferbuffer中。fwctlkdebugbuffer，并且显示消息，这是从bufferdebug信息。buffer是循环的，这意味着如果没有足够的buffer来缓存新的debug信息时，老的debug信息将会从缓存中删掉，在这种情况下console下将会显示debug丢失的消息。参考的命令:fwctldebug–bufferfwctldebug0设置所有的标记(flag)debugbuffer。fwctldebug-buf[size]-buffer128KB32000KB。fwctldebug[-mmodule][+|-]标记(flag)-对所请求的模块(fw)debug23标记(flag)。如果使用+,是指设置了指定的标记(flag)，其余的保持原状。如果使用-,是指重置了指定的标记(flag)，其余的保持原状。如果使用了-和+，是指指定的设置了标记，其余的全部重置。fwctlkdebug[-f]–debugbufferdebugbuffer，这个命令将会失败，如果-fbufferCTRL+Cbuffer内容并且结束。如下是针对fw模块的一个kerneldebug实例:NATIPS或者Anti-Spoofing某应用被防火墙拦截的问题，下面通过对防火墙模块内核进行debug.fwacceloff #关闭SecureXL加速fwctldebug0 #初始化debugfwctldebug-buf32000 #设置debugbufferfwctldebug-mfw+dropconnvmpacketmachine #设置debug的标记fwctlkdebug-T-f>/var/tmp/kernel_debug.ctl #将debug/var/tmp目录RFCdebug因此可行的解决办法可能是更新该协议版本，或者参考sk41444。24正常流量被拦截的排查流程如果在真实环境中碰到在策略、路由、以及NAT和IPS或者Anti-Spoofing配置都.25VPNVPNNATIPSAnti-SpoofingVPNTunnelVPN协商有2mainmodequickmode2个阶段协商的过程，查找VPN不通的原因首先查看MainMode:26如果在SmartViewTracker中看到的报错日志与QuickMode相关，请参考如下QuickMode的排错流程。27VPNDebugVPNdebugexpert（打开另一命令窗口先删除$FWDIR/log/vpnd.elgrmvpnd.elgvpndebugtruncvpndebugonTDERROR_ALL_ALL=5KernelDebug打开另一个命令窗口fwctldebug0fwctldebug-buf32000fwctldebug-mfw+conndropfwctldebug-mVPNallfwctlkdebug-t-f>vpn.debug等待debug运行2分钟后,结束debug,命令如下:1~2debugKerneldebugfwctldebug0命令结束VPNdebugvpndebugonTDERROR_ALL_ALL=1vpndebugikeoffvpndebugoffvpntu运行vpntu,然后选择第7项,然后输入对端防火墙的公网建立VPNTunnel的IP地址。(7)DeleteallIPsec+IKESAsforagivenpeer如果问题依然存在，重启防火墙看问题是否得到恢复。cpinfo在设备上运行cpinfo–n–z–o/var/log/filenamedebugcd$FWDIR/logdebug文件会自动生成在$FWDIR/log目录,搜集vpnd.elg和ike.elg文件。信息搜集完成后，发送给CheckPoint工程师继续排错。EndopointConnect连接问题排错流程在客户使用EndpointIPSECVPN连接访问VPN网关时，出现VPN访问的故障类似于无法连通，连通后无法访问应用等问题，通常我们首先建议检查VPN火墙等因素，确认并非上述等问题后，下面进行详细的排错过程。28debugdebugconnectionId性能后在执行。29debugdebugconnectionId性能后在执行。30VPN客户端连接常见问题原因解析：VPNpingping网同一网段其他地址，问题原因可能是目标主机有防火墙或者是防病毒软件拦截。建立站点提示提示communicateerror出现这种情况最大的可能就是客户端连接的问题，首先检查客户端连接internet及链路的稳定性。确保客户端能够连接internet并且链路稳定。31Gatewaynoresponding2方面，首先检查防火墙上RemoteAccess其次是重新安装客户端。注意杀毒软件或者防火墙的开启，也可能是导致VPN机防火墙或杀毒软件的服务。提示用户名或者密码错误第一，确认输入的时候没有错误，第二，如果结合了RSAACE查令牌是否被锁定，如果锁定则会提示该错误。安装SecuremoteNGXHFA2使用CP)这个问题可能是CP卸载工具版本比较低的原因，导致卸载HFA2无法安装新版本。解决办法是安装HFA1版本的客户端。客户端使用SecuremoteHFA2无法连接站点Site建立出现问题，首先确认用户名和口令没有问题，如果还无法连接则尝试重新安装客户端。建立VPNSiteoverlappingvpndomain检查防火墙VPNDomain的设置确认防火墙的接口所属的网段，不在VPNDomain具体的解决办法见文档。提示证书问题不可用，因此，请检查客户端的时间设置。确认和当前时间一致。ClusterXL排错流程ClusterXL是实现SPLAT平台的HA因、性能的压力等现Failover(切换)的现象，另外也有可能因为Cluster的原因引起某些流量在穿过HA火墙时出现业务层面的问题，下面的流程从这两方面进行介绍排错的流程。首先，对ClusterXL可能出现Failover的问题进行排查流程分析，32下面介绍当有业务流量在穿越ClusterList见下文文字描述部分。3334ClusterXLdebugFireWall-1版本–确认member的软件版本是完全一致包括大版本与HFAhotfixes.HighAvailability–确认所有的membercphaprobstat命令查看Cluster组建是否有状态时"problem"的现象。SystemInformation–为避免硬件层面的导致的Cluster都用了相同型号的硬件配置，比如必须相同的CPU数量以及相同的Core数量，内存大小一样。IPInterfaces-注意两台物理member的接口数量必须相同。FW-1Accelerator–在Cluster启用了SecureXL"fwaccel关闭加速模块，然后看问题是否还存在，如果问题还是发生，则在SecureXL关闭的前提下进行debug./var/log/messagesfile打开messageserror或者failed相关的信息，然后查找KB确认问题。ha_boot.confcp_components–认该配置文件在两台火墙上都是一致的内容。HKLM_registry.data通过检查该文件确认两台memberHFAhotfixes.Debug通过检查上述项目，可以排除系统和物理层导致Cluster发生问题的可能，下文介绍ClusterXL的Debug命令。CluseterXLKerneldebug命令首先需要从ClusterMmeber上搜集到CPinfo文件在相关的接口上执行kerneldebug和fwmonitor,tcpdump请在Clustermember上执行如下KernelDebug(请提供与故障相关的IP):为排查fail-over,debug时在所有Clustermember上设置kernel#fwctlsetintfwha_dprint_io1#fwctlsetintfwha_dprint_all_net_check1搜集故障发生之前的链接表内容#fwtab-u-f>/con_table_before.txt2>&135在第一个CLIKernelDebug:#fwctldebug0#fwctldebug-buf32000#fwctldebug-mfw+dropconnvmpacketmachine#fwctldebug-mfw+chainifcookieholdqsync#fwctldebug-mclusterall#fwctlkdebug-T-f>/kernel_debug.ctl2>&1在其中一个member的第二个CLI窗口执行External接口的tcpdump-S-U-e-n-i<interface_name>-w/tcpdump_ext.cap2>&1(referto/doc/linux/man/man8/tcpdump.8.html)在第三个CLI窗口运行FWMonitor#fwmonitor-u-e"accept;"-o/fw_mon.cap(refertosk30583)打开第四个CLI窗口，在其中一个member上进行内网卡抓包#tcpdump-S-U-e-n-i<interface_name>-w/tcpdump_int.cap(referto/doc/linux/man/man8/tcpdump.8.html)复现故障现象在第一个CLI窗口停止KernelDebug执行CTRL+#fwctldebug-x在第二个CLI窗口停止TCPdump，执行CTRL+C在第三个CLI窗口停止FWMonitor，执行CTRLC在第四个CLI窗口停止TCPdump，执行CTRL+C搜集故障发生之后的防火墙链接表内容#fwtab-u-f>/con_table_after.txt2>&111.将如下搜集的信息发送给CheckPoint工程师分析$FWDIR/log/* <=== 最好能搜集如下目录的所有文件/kernel_debug.ctl <===(vi/kernel_debug.ctl)/tcpdump_ext.cap <===(tcpdump-r/tcpdump_ext.cap|less)/tcpdump_int.cap <===(tcpdump-r/tcpdump_int.cap|less)/fw_mon.cap/con_table_before.txt/con_table_after.txt36防火墙日志问题排错流程logSmartCenter或者也不存储日志在防火墙本地，或者防火墙日志本来应该转发到SmartCenter或者logserver如下流程对日志问题进行排查，37策略下发失败的问题排错流程碰到策略下发失败的问题时，首先需要注意报错的详细信息，检查防火墙与SmartCenter之SIC是否正常通信，然后根据报错的信息在GoogleKB可能的解决方案，然后按照如下排错的流程查找问题。38Voip遇到VoipNATIPS加了所有对应Voip协议，尤其是sip协议有一个sip_dynamic_ports的选项，是在ServicesOthersVoipAdvanceprotocoldeubg进行排错。首先在防火墙上初始化debug的命令复现故障现象停止debug并且将debug数据搜集发送给CheckPoint工程师***注意:kerneldebug可能会给防火墙造成性能影响，因此最好是在设备的维护时间窗口进行debug减少对生产系统的影响。***DEBUG命令:##############################################################SIP协议:##############################################################初始化debug命令:#fwctldebug0#fwctldebug-buf32000#fwctldebug-mfw+dropconnld#fwctlkdebug-T-f>/kdebug.outCLI窗口对相关的数据流量或者协议进行抓包，建议定义详细抓包命令后进行抓包。#tcpdump-i<interface>-w<ethX_tcpdump.out>fwmonitor#fwmonitor-e"accept;"-o/fw_mon.out4)-----开始抓包后，复现故障现象-----.debug:停止debug使用命令#fwctldebug0tcpdumpCTRL-CfwmonitorCTRL-C:/kdebug.out/ethX_tcpdump.out/fw_mon.out39##############################################################H323:##############################################################初始化debug命令:#fwctldebug0#fwctldebug-buf32000#fwctldebug-mfw+dropconnld#fwctldebug-mh323all#fwctldebug-mCPASall#fwctlkdebug-T-f>/kdebug.outCLI窗口对相关的数据流量或者协议进行抓包，建议定义详细抓包命令后进行抓包。#tcpdump-i<interface>-w<ethX_tcpdump.out>fwmonitor#fwmonitor-e"accept;"-o/fw_mon.out4)-----开始抓包后，复现故障现象-----.debug:停止debug使用命令#fwctldebug0tcpdumpCTRL-CfwmonitorCTRL-C:/kdebug.out/ethX_tcpdump.out/fw_mon.out##############################################################注意为方便TAC工程师排错，通常建议将于故障设备相关的IP以及端口号告诉支持工程师##############################################################典型故障排查在此举例在某次TAC远程支持过程中排查某客户防火墙发生重起后的故障，其中包括常见的故障信息收集命令，以及防火墙运行状态信息检查命令，IP1285[admin]#topIP1285[admin]#ifconfig-a|grepvrrpIP1285[admin]#fwaccelconns-s40IP1285[admin]#fwaccel statsIP1285[admin]#fwver-kIP1285[admin]#fwctlmultikstatIP1285[admin]#uname-aIP1285[admin]#find/-name"*core*"IP1285[admin]#cd/var/IP1285[admin]#cdcrashIP1285[admin]#ls-ltrIP1285[admin]#gzip-dvmcore.79.gzIP1285[admin]#stringsvmcore.79>79IP1285[admin]#fwctlgetintfw_log_bufsizefw_log_bufsize=1638400IP1285[admin]#cphaprobstatIP1285[admin]#tcshIP1285[admin]#while1IP1285[admin]#while1while?fwaccelconns-swhile?sleep1while?endThereare140304connectionsinSecureXLconnectionstableErrorgettingtheconnectionstable(timeout)Thereare140490connectionsinSecureXLconnectionstableThereare140564connectionsinSecureXLconnectionstableIP1285[admin]#fwaccelconns-sThereare139902connectionsinSecureXLconnectionstableIP1285[admin]#uptimeIP1285[admin]#fwtab-tconnections-sIP1285[admin]#cpstat-fpolicyfwIP1285[admin]#netstat-iIP1285[admin]#fwctlpstatIP1285[admin]#cd/var/logIP1285[admin]#cdmonitorIP1285[admin]#lssummary tm.db IP1285[admin]#IP1285[admin]#lltotal29970drwxr-xr-x 2root wheel 512May19 2010summary-rw-r--r--1rootwheel28558336Feb2715:52tm.db-rw-r--r--1rootwheel2068480Feb2715:05tm_summary.dbIP1285[admin]#IP1285[admin]#IP1285[admin]#sqlite3tm.db41SQLiteversion3.5.8Enter".help"forinstructionssqlite>?sqlite>.quitIP1285[admin]#cp/var/log/monitor/tm.dbtm_nazir.dbIP1285[admin]#lltotal79476-rw------- 1root wheel 1969Feb1813:40.clish_history-rw-r--r-- 1root wheel 938Sep 4 2009.cshrc-rw------- 1root wheel 25817Feb2714:53.history-rw-r--r-- 1root wheel 195Sep 4 2009.login-rw-r--r-- 1root wheel 365Sep 4 2009.profile-rw-rw-r-- 1root wheel 38819Aug 9 2010RIP1.pcap-rw-rw-r-- 1root wheel 31549Jul29 2010waptest2-2.pcap-rw-rw-r-- 1root wheel 1165685Jul29 2010waptest2-3.pcap-rw-rw-r-- 1root wheel 44606Jul29 2010IP1285[admin]#sqlite3tm_nazir.dbSQLiteversion3.5.8Enter".help"forinstructionssqlite>.schemacpuCREATETABLEcpu (tsinteger,fwid,core,user,nice,sys,idle);sqlite>selectmax(ts)fromcpu;1298793316sqlite>select*fromcpuwherets>=1298793316limit1298793316|65535|0|0.56|0.0|0.62|1.85|96.971298793316|65535|1|0.13|0.0|0.13|6.16|93.591298793316|65535|2|0.18|0.0|0.19|0.96|98.671298793316|65535|3|0.02|0.0|0.04|0.96|98.98sqlite>select*fromcpulimit25;1298185503|65535|0|0.22|0.0|0.47|2.65|96.66sqlite>select*fromcpu;1298185503|65535|0|0.22|0.0|0.47|2.65|96.661298185503|65535|1|0.11|0.0|0.14|4.35|95.411298185503|65535|2|0.47|0.0|0.47|0.56|98.51298185503|65535|3|0.26|0.0|0.26|0.65|98.83IP1285[admin]#cd/var/log/IP1285[admin]#grepbuffermessages*IP1285[admin]#grepFW-1messages*42防火墙巡检报告防火墙(FW)信息输入客户名称客户名称检查地点硬件型号运行时间部署区域设备用途软件版本EOS产品服务级别服务期限检查项目内容检查方式结果接口数量统计Ifconfig-aCPUtop内存总量统计free–k硬件、操作系统检查硬盘容量统计df-mClustercphaprobstat火墙补丁版本fwver操作系统版本uname-a收集防火墙基本信息，跟踪防火墙版本、服务信息，确保产品在有效服务期内。注：EOS(EndofSupport)是指原厂提供的对该版本支持的时间期限EoS:/services/lifecycle/index.htmluptime管理服务器(SMC)信息输入硬件型号硬件型号运行时间软件版本部署区域产品服务级别服务期限检查项目内容检查方式结果CPUtop硬件、操作系统检查内存总量统计free–k硬盘容量统计df-mSMCfwver43防火墙物理层运行状况检查硬件资源使用情况检查项目检查项目内容检查方式结果检查内存状态free–k-tCPU网络接口状态检查(FW检查项目)CPUvmstat510查看硬盘状态df-k网卡连接状态ethtoolethx在CHECKPOINT主备防火墙仿真终端命令行中输入如下命令：vmstat510，查看CPU利用率free–ktSwapswap内存df–k80%应给予积极关注查明原因。EthtoolSPLAT。建议将网络中每一对进出流量的接口使用同一块物理板卡上的接口，不建议跨板卡接一对进出流量接口硬件资源健康检查检查项目 内容 检查方式 结查看是否有内存分#fwctlpstat配故障查看哪些CPU内核消#topCoreXLCPU和内存、网卡健康检查(FW检查项目)

耗查看cpuCPU)

#fwctlmultikstat查看网卡状态 #netstat-ifwctlpstat输出如下信息，主要检查是否存在“failedalloc”分配失败的问题(hmem)failedallochashkernelmemoryCapacityOptimization属性的并发连接设置是否太大，请调回该防火墙设备硬件性能支持的合理的并发连接范围。(smem)failedallocno