LTM配置与排错-晏顺.ppt

LTM配置与排错,Monitor配置与排错,Bigd触发从TMM接口转出数据回包先经过TMM，转交给bigd,Monitor工作原理,Host与TMM间关系,F5Networks,Inc,29,Monitor概述BIGIPMonitor主要用于对后台应用的健康检查。BIGIP预置的Monitor类型如右图所示，可分为以下三大类：1、SimpleMonitor：发送一个特定协议包，等待回应。如：GatewayICMP和TCPHalfOpen。2、ECV：ExtendedContentVerification，使用特定协议向检查对象发送一段查询内容，等待从检查对象返回的内容，如果检查到正确的返回内容，则健康检查成功，否则失败。如：Http、Https、TCP。3、EAV：ExternalApplicationVerification，通过访问指定的应用确认检查对象的健康状况。如接收到正确的回应则健康检查成功。如：FTP、IMAP、LDAP、MSSWL、MySQL、NNTP、Oracle、POP3、RADIUS、RealServer等。除右图预设Monitor外，用户还可以自定义EAVMonitor。我们将在后面针对不同应用的章节中，详细讲解三类常用Monitor的配置及使用。,Interval:表示系统发起探测的频率，默认每五秒发起一次探测Timeout：在限定周期内如果收不到回应则将member置为downTimeout时间一般为3*Interval+1s,Monitor重要概念,场景一：使用iptables过滤SYN+ACK包,通过抓包理解interval和timeout之间的关系,场景二：使用nc监听80端口，不相应HTTP请求,通过抓包理解interval和timeout之间的关系,网络层monitorVS应用层monitor,数据库monitor,Externalmonitor,Inbandmonitor,Failures：指定在Monitor标记memberdown之前，Member可以在“故障间隔”中发送的失败响应的数量。FailureInterval：指定如果系统在此时间段内收到指定数量的故障，则Monitor将标记member为down。ResponseTime：指定member必须响应数据请求的时间间隔。如果member在指定的时间后响应，则monitor报告故障。RetryTime：指定在标记memberdown后，Monitor再次发起探测请求的时间间隔,Pool和poolmember调用Monitor,Monitor故障处理,Bigd触发，从TMM接口转出数据，回报先经过TMM，转交给bigdHost与TMM间关系，tcpdump的h选项tcpdumpni0.0:nnnhs0Bigddebugsysdbbigd.dbgfilevalue/var/log/bigdlogsysdbbigd.debugvaluedisableBigd端口的复用:sysdbbigd.reusesocketvalueenable,Monitor故障处理抓包命令拓展,通用型抓包命令tcpdumpni0.0:nnns0-w/var/tmp/1.pcap自动匹配客户端和服务器端的连接tcpdumpni0.0:nnnps0host-w/var/tmp/1.pcap管理口抓包tcpdumpnieth0s0-w/var/tmp/1.pcap,Monitor故障处理,手工执行ping，telnet，curl等命令辅助判断，单独执行是否正确外部monitor（ECVmonitor）脚本检查，UP输出Tcpdump，bigdlog和ltmlog,SSL卸载,SSLoffloading示例,Decrypted,Encrypted,包的封装,Wire,Request,SSL握手过程,Client,Server,ClientHello,ServerHello,Certificate,ServerHelloDone,ClientKeyExchange,ChangeCipherSpec,Finished,ChangeCipherSpec,Finished,包含所选协议版本，随机数，CipherSuite，压缩方法和任何其他支持的扩展。,指定支持的最高TLS协议版本，随机数，建议的Ciphers列表，建议的压缩方法和扩展,表示握手协商完成,包含PreMasterSecret，公钥或无（取决于选取的算法）。如果包括PreMasterSecret，它使用服务器公钥加密,告诉服务器所有后续流量将被认证和加密,告诉客户端所有以下流量将被认证和加密,包含上一条消息的哈希和MAC。服务器将尝试解密和验证散列和MAC。如果解密或验证失败，则连接被终止,ApplicationData,包含服务器公钥和可选的证书信任链,握手完成和解密的数据传递到连接两端的较高层,包含上一条消息的哈希和MAC。服务器将尝试解密和验证散列和MAC。如果解密或验证失败，则连接被终止,SSL握手过程(DH),TLS-ClientHello,TLS-ServerHello,SSLCipherSuite,Ciphersuite3个核心组件：密钥交换算法（不对称加密）生成主密钥批量加密算法（对称加密）主密钥，用作加密/解密数据的种子消息验证码（加密散列函数）加密数据进行散列以提高完整性,TLS_DHE-RSA-AES128-GCM-SHA256,Ciphersuites,公钥大小不是密码字符串的一部分！,TLS_DHE_RSA_WITH_AES_128_CBC_SHATLS_RSA_WITH_RC4_128_SHA,TLSCertificate,ServerHelloDone,公钥基础设施信任链,opensslverify-purposesslclient-CAfile/path/to/trusted-ca-bundle.crt/path/to/client.crt如果指定的证书链可以完成验证，则该命令将返回以下的输出：client.crt:OK,PublickeySignatureValidFrom/TodatesIssuerOtheroptionsSNICertificationpath,TLS证书,TLSClientKeyExchange,ChangeCipherSpec,Finished,TLSServer:ChangeCipherSpec,Finished,TLSApplicationData,BCMSwitchfabric,PVA,BCMSwitchfabric,IPv4,TCP,LBiRulesCookieNATSNATetc.,HTTP,ClientSSL,IPv4,TCP,HTTP,ServerSSL,ClientSSLProfile基本设定,Certificate:服务器公钥证书Key:服务器私钥Chain:证书链Ciphers:支持的算法,F5DEFAULT算法列表,BIG-IP12.0.0-12.1.0!SSLv2:!EXPORT:DHE+AES-GCM:DHE+AES:DHE+3DES:RSA+AES-GCM:RSA+AES:RSA+3DES:ECDHE+AES-GCM:ECDHE+AES:ECDHE+3DES:-MD5:-SSLv3:-RC4BIG-IP11.6.1!SSLv2:!EXPORT:DHE+AES-GCM:DHE+AES:DHE+3DES:RSA+AES-GCM:RSA+AES:RSA+3DES:ECDHE+AES-GCM:ECDHE+AES:ECDHE+3DES:-MD5:-SSLv3:-RC4BIG-IP11.5.0-11.5.4!SSLv2:!EXPORT:RSA+AES:RSA+3DES:RSA+RC4:ECDHE+AES:ECDHE+3DES:ECDHE+RC4:!MD5:!SSLv3BIG-IP11.0.0-11.4.1!SSLv2:ALL:!DH:!ADH:!EDH:!MD5:!EXPORT:!DES:SPEED256字符限制,Cipher性能,SSL排错工具ssldump,用于显示SSL握手信息和解密的应用程序的内容从tcpdump获取二进制文件作为输入#ssldumpnAdr-k-n:dontresolvehostnames-A:Printallrecordfields-d:Displaytheapplicationdatatraffic-r:readdatafromfile-k:keyfile,SSLDump注意事项,用tcpdump抓包，然后用ssldump解密在进行抓包之前，从浏览器中清除SSL状态并打开新的浏览器解密可以用PMS或者私钥ssldump-r/path/to/capture_file-k/path/to/private_key-M/path/to/pre-master-key_log_file,SSL排错工具openssls_client,s_client是一个openssl应用程序，用于与基于SSL的应用程序服务器建立命令行安全连接https:HTTPoverSSLopenssls_client-connectremote.host:443,排错场景,BIGIP升级后有部分客户端访问https页面失败对于这类问题首先考虑是SSL版本或者Ciphers兼容性问题，通过抓包查看SSL握手全过程。,设备系统升级,设备系统升级,系统升级前要求执行以下操作：保存、备份配置文件，并下载到本地硬盘。重新激活F5设备，确保可以升级上传系统文件及补丁程序Notes：从下载ISO文件以及上传到BIGIP后都需要校验。md5sum值准备好Console线或者确保ConsoleServer可以连接,设备系统升级,备机安装系统程序：使用命令tmshshowsyssoftware查看系统安装情况使用命令tmshinstallsyssoftwareimagesBIGIP-.0.317.isovolumeHD1.Xcreate-volume,设备系统升级,安装过程注意事项：使用命令watchtmshshowsyssoftware查看升级进度使用命令tailf/var/log/liveinstall.log查看具体安装过程及配置导入过程,设备系统升级,安装补丁：使用命令tmshinstallsyssoftwarehotfixHotfix-BIGIP-.0.338-HF2.isovolumeHD1.X安装补丁使用命令watchtmshshowsyssoftware查看升级进度,设备系统升级,安装完成后检查事项：检查var/log/liveinstall.log确保导入ucs部分没有报错如何从当前系统中获取新分区的配置文件（可选）,mount/dev/mapper/vg-db-sda-set.x._config/var/tmp/config_setxcd/var/tmp/config_setx,设备系统升级,升级后所需操作：重启机器到新安装的分区,switchbootbHD1.xreboot,将流量切换到新版本的BIGIP，确保业务正常后，升级对端BIGIP所有BIGIP都完成升级后，检查HA状态和同步状态,LTM常见故障处理,BIGIP重要进程,BIGIP重要日志,BIGIP重要日志,Status状态指示灯,OFF系统关闭常绿系统运行正常，或系统运行在active模式长黄系统运行在standby模式，若非standby设备，考虑存在非严重问题指示黄闪系统存在故障，HOST部分未启动起来，或其他软硬件故障导致无法获取HOST控制,Power电源指示灯,常绿电源供电正常长黄电源存在，但工作不正常，或工作在standby模式下OFF电源不存在,Alarm告警灯,会因不同平台而有少许差别，但类似于老平台，系统/etc/alertd/alert.conf中会控制是否某些警告应该触发告警。长黄，黄闪，长红，红闪，对应的告警级别依次提高,*Thelcdwarnmessagescanbeoneof5levels:0-warning-makestheAlertLEDglowyellow*1-error-makestheAlertLEDblinkyellow*2-alert-makestheAlertLEDglowred*3-critical-makestheAlertLEDglowred*4-emergency-makestheAlertLEDblinkred*5-info-leavetheLEDoff,清除LCD和LED告警信息,通过控制面板LCD控制按钮，通过确认并删除警告信息可恢复LED灯状态在需要进行远程清除告警的情况下，可以使用lcdwarn命令清除Lcdwarnc单机slotid可设置0，在viprion平台上slotid按实际输入Level用01234分别代表warningerroralertcriticalemergencyforiin01234;doforjin01234;dolcdwarn-c$i$j;done;done,USER_ALERT.CONF,利用/config/user_alert.conf根据某种日志触发执行某种动作/*comment*/alertexeccommand=/path/to/command_or_customscript/*Thisstanzarestartsntpdafterthesystemcompletesareboot*/alertntpd_startup_delayInitializationcomplete.TheMCPisupandrunningexeccommand=sleep15;execcommand=/usr/bin/bigstartrestartntpd;不能将exec命令与snmptrap和lcdwarn命令放在一起使用,硬盘方面故障排错,SMARTCTL硬盘检测，fsck若出现硬盘无法启动系统，可首先考虑重新干净安装系统，diskinitstylevolumes低格RAID方面可能出现tmshshowsysraid显示硬盘failed使用tmshmodifysysraidarrayMD1removeHD1命令尝试移除硬盘，然后将硬盘重新加回:TmshmodifysyaraidarrayMD1addHD1或手工将硬盘从盘位中拔出，并重新插入随后可用tmshshowsysraid观察系统复制状况若总是某个bay位的硬盘无法被识别，尝试调换槽位,Raid方面排错,在更换硬盘时，应先将硬盘从raid中分离后，再物理更换，否则容易出现：Sys:Raid:ArrayMembersBayIDSerialNumberNameArrayMemberArrayStatus-WD-WCAT1F023504-yesmissing1WD-WCAT1F339643HD2yesok2WD-WCAT1F339596HD1yesok此时需要array-erasearray-eraseWD-WCAT1F023504,Raid方面问题可采集的信息,tmshshowsysraid/var/tmp/CaseID_tmshraid.logarray/var/tmp/CaseID_array.logmdadm-detail/dev/md*/var/tmp/CaseID_mdadm.logcat/proc/mdstat/var/tmp/CaseID_mdstat.loghalcmd-mdisk/var/tmp/CaseID_hal.logThefiles:/var/log/kern*,/var/log/ltm*,/var/log/daemon*,EUD,避免误报，检测时设备不要接入网络使用最新版本的EUDViprion独立板卡测试eud_info命令,“liveeud”,11.4版本后增加Platform_check可以不重启机器执行简单部分eud，包含PCI检查，SMART，硬件压缩卡，注意对于压缩卡的检测依旧需要执行bigstartstop首先,其他硬件问题,电源出现问题，一般来说可以看到面板控制灯关于电源的告警系统日志中也会出现关于电源、风扇方面的log使用tmshshowsyshardware查看电源、风扇转速等状态,风扇、电源,/rootor/var空间满,root空间满容易导致GUI上传ISO文件失败，相反GUI上传文件出错容易导致root满Var空间满，容易导致GUI界面，系统性能统计，zrd等出现问题，因为有些程序运行过程中依赖/vardfh,duListdirectoriesandtheirsize:find/root-typed-execdu-sh;|sort-nrListoffilesandtheirsize:find/root-typef-execdu-sh;|sortnrdu-m-c-max-depth=1/vardui，ifinodecausediskusagereachfull,MEMRORYINTMM,TmshshowsysmemoryShowsystemmemoryusage,showtmmmemoryusage,displaymemoryallocactionforeachtmmandsubsystemDEMO,root(VIP4800-R77-S28)(cfg-syncStandalone)(/S2-green-P:Active)(/Common)(tmos)#showsysmemorySys:SystemMemoryInformation-MemoryUsed(bytes)CurrentAverageMax(since06/18/1412:23:08)-TotalPhysMemory94.5G94.5G94.5GOSUsedMemory91.1G91.0G91.1GTMMAllocMemory84.1G84.1G84.1GTMMUsedMemory4.8G4.8G4.8GOSUsedSwap000-Sys:HostMemory(bytes)-Host:1Available47.2GUsed45.9G-Sys:HostMemory(bytes)-Host:2Available47.2GUsed45.1G,系统CPU高？,TopTmshshowsyscpuVmstat什么进程占用高？进程是干什么的？是否和流量、连接数有关？此时memory高不高？此进程是否高度依赖磁盘读写？系统iowait高不高？Swap高不高？磁盘读写情况？vmstat-d-n1sar输出查看（支持版本）,TMOS,Interfaces，arp，vlan，selfipRoutingtableConnectionsVirtualserversProfilesPoolsPersistencetableSnatTMOSSystem,Pools,LB算法，行为是否符合预期？（CMP？oneconnect?)会话保持对LB的影响Pool、poolmembermonitor状态Limit行为SlowrampAllowsnat/NAT?Actiononservicedown行为State:disabled,forcedoffline,Persistence,Persistence表是在LB选择到正确member后产生的Persistence表示在LB决策前要查询的Irule对persistence的影响？Persistence表的输出，老化Persistence与CMP，宿主、复制跨vs的across?Acrossvirtualserviceoracrossvirtualserver?Cookiepersistence不存在会话保持表,SystemHA,DSC正确的网络配置正确的时间配置正确的admin账号正确的trustdomainVlan、gatewayfailsafe正确的Selfiplockdown设置网络failover？电缆？,DSC,McpdA-tmmA:6699,tmmA-tmmB:4353,tmmB-mcpdB:6699反之亦然Tmm之间的连接只能通过抓包发现，无法在系统上查看,mcpd,tmmA,tmmB,mcpd,DSC排错tips,软件版本一致性管理口IP，可达彼此Devicetrust设置Failoverip设置Configsyncip设置NTP设置首先确保trustdomain处于insync，其次排错同步组首次建立，系统会提示初始化同步，从任意机器发起一次同步，注意若系统发现两者配置存在冲突，会提示使用overwrite选项,常用日志收集,Qkview通过图形界面收取通过命令行收取:nicen19qkview打包日志tarzcvf/var/tmp/$HOSTNAME-logs.tar.gz/var/log/*,日志管理配置-HSL配置流程,配置remotehighspeedserverpool配置remotehighspeedlogdestination配置格式化的remotehighspeedlogdestination配置publisher配置logfilter,日志管理配置-HSL配置流程,配置remotehighspeedserverpool例如配置一台服务器为3:514,日志管理配置-HSL配置流程,配置remotehighspeedlogdestinationsystem-logs-configuration-logDestinations-create创建一个syslog-hsl，使用的是Remotehighspeedlog类型,日志管理配置-HSL配置流程,配置格式化的remotehighspeedlogdestination创建有关格式化的remotehighspeedlog目标，可以设置输出为Splunk/arcsight等格式化的日志，本次选择为BIGIP类型的格式。system-logs-configuration-logDestinations-create,日志管理配置-HSL配置流程,配置publisher可以将后面过滤的日志推到这里关联的destination进行输出。system-logs-configuration-logPublishers-create,日志管理配置-HSL配置流程,配置logfilter创建并关联相关publisher，否则无法传递系统报警消息到syslog服务器！system-logs-configuration-logPublishers-create,创建完毕可以在远程syslog服务器验证创建的信息。,远程管理配置APMLite（10Users）,F5免费提供默认10UsersAPMLite模块，可使用SSLVPN对设备进行远程安全管理。APMLite模块与收费的APM模块相比具有完全相同的功能，但有以下限制：1、并发用户限制在10AccessSessions；2、硬件压缩被Disable；3、软件压缩被限制到50Mbps；4、不提供AAAOAM集成；,远程管理配置APMLite（10Users）,激活APM资源分配（默认10Users免费）,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，选择NetworkAccess模式：,根据设备安装向导进行APM配置，选择中文模式：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，添加DNS服务器：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，选择用户认证服务（远程管理使用本地用户认证，选择NoAuthenticate，后面在VPE配置中进行选择）：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，添加用户本地IP分配地址池：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，配置隧道分离，设置从VPN隧道访问的内部IP地址段：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，添加内部DNS地址：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，配置对外发布地址：,远程管理配置APMLite（10Users）,根据设备安装向导进行APM配置，并确认向导配置：,远程管理配置