深信服潜伏威胁探针STA-技术白皮书-20220425

i修订记录修订记录累积了每次文档更新的说明。最新版本的文档包含以前所有文档版本的更新内容。日期作者文档版本审核人备注符号说明在本文中可能出现下列标志，它们所代表的含义如下。图形文字使用原则危险若用户忽略危险标志，可能会因误操作发生危害人身安全、环境安全等严重后果。警告该标志后的注释需给予格外的关注，不当的操作可能会给人身造成伤害。小心若用户忽略警告标志，可能会因误操作发生严重事故（如损坏设备）或人身伤害。注意提醒操作中应注意的事项，不当的操作可能会导致设置无法生效、数据丢失或者设备损坏。说明对操作内容的描述进行必要的补充和说明。在本文中会出现图形界面格式，它们所代表的含义如下。文字描述代替符号举例窗口名、菜单名等方括号“[]”弹出[新建用户]窗口。选择[系统设置/接口配置]。按钮名、键名尖括号“<>”单击<确定>按钮。

目录1.概述 32.产品特性 42.1.静态安全检测 42.2.流量元数据采集 43.产品价值 63.1.资产/脆弱性识别 63.2.数据审计 63.3.全面检测 74.产品功能 84.1.资产识别 84.2.脆弱性识别 84.2.1.实时漏洞分析 84.2.2.被动扫描 94.2.3.主动扫描 94.3.协议解析 94.3.1.协议解析内容 94.3.2.HTTPS加密解析 104.3.3.自定义解析内容 104.3.4.数据传输 114.4.威胁检测 114.4.1.违规访问检测 114.4.2.漏洞利用攻击检测 114.4.3.Web应用攻击检测 134.4.4.DDOS检测 154.4.5.黑链检测 155.产品架构与部署 175.1.系统架构设计 175.2.多核并行处理 175.3.单次解析架构 185.4.跳跃式扫描技术 185.5.SangforRegex正则引擎 185.6.旁路部署 19概述近几年来，随着互联网+、业务数字化转型的深入推进，各行各业都在加速往互联网化、数字化转型。业务越来越多的向公众、合作伙伴，第三方机构等开放，在数字化业务带给我们高效和便捷的同时，信息暴露面的增加，网络边界的模糊化以及黑客攻击的产业化使得安全事件越来越复杂。内部威胁是最难检测的威胁之一，且可能会导致大量敏感数据泄露。而针对威胁安全的调查，则需要大量原始网络数据进行支撑。同时，客户资产情况不明，也导致客户需要消耗大量的事件用于调查运营上。潜伏威胁探针是深信服自主原创并拥有完全自主知识产权的威胁检测、数据审计产品，该产品采用多核的硬件架构，秉承“安全检测、流量审计”的目标，使用全新的威胁检测技术对各种攻击行为以及网络威胁具有高精度的检测能力，尤其是，该产品对于潜伏在内网威胁流量的异常情况具有非常准确、有效的发现能力。为了解决客户对安全事件过程的调查，探针的流量元数据采集技术采集并存储了网络流量中重要数据。同时，为了减少大量用户调查运营时间，探针采用了被动扫描和主动扫描两种方式帮助客户进行资产识别和脆弱性识别，最后探针设计各种数据接口，向安全分析平台提供检测数据和原始数据，一方面降低第三方平台的安全分析压力，另一方面又提供原始素材供其进行进一步安全分析。产品特性潜伏威胁探针作为流量采集设备，主要与交换机等具备旁路镜像功能的汇聚设备进行对接，对其镜像的流量（按方案采集要求）进行如图2-3处理和输出数据：图2-3：探针对流量的处理流程示意图静态安全检测检测：基于黑客攻击的静态规则检测，包括漏洞利用攻击、Web网站攻击、异常流量识别。形成安全检测日志。基于情报分析，包括攻击源匹配、请求流量匹配等发现僵尸网络通信流量（如C&C通信、远控行为等）。形成安全检测日志。基于资产梳理，包括自动识别内网网段及互联网，对内网网段自动发现终端、服务器，并识别异常访问行为、违规访问行为。形成资产识别信息、违规访问日志。就要脆弱性范围聚焦，包括基于流量的方式发现存在的漏洞、弱密码等暴露面问题，方便安全人员快速聚焦具体位置再分析，无需进行大范围的渗透处理。基于应用检测，识别流量中包含的具体应用类型、访问的网站类型特性等，形成审计日志。输出：安全检测日志、违规访问日志。审计日志。资产识别信息。流量元数据采集采集：流量元数据，包括从TCP、UDP等组成NetFlow形式，从其他重要协议，如FTP、HTTP、DNS、POP3、SMTP、SMB等组成相应的XFlow形式（如DNSFlow）传递给平台，包含协议流量的所有关键四层以上数据。文件还原。支持从HTTP、FTP、Mail等相关可明文传输、下载文件的协议中还原指定大小范围内的2具体文件或附件信息，传递给平台进行分析。支持可执行文件、OFFICE文件。输出：XFlow形式的流量元数据。流量中还原的文件。产品价值潜伏威胁探针的核心价值在于资产识别、海量原始数据审计以及全面精确的威胁检测。资产/脆弱性识别潜伏威胁探针能够在对内部的服务器进行自动识别，如图3-1所示，并且还能自动识别服务器上开放端口和存在的漏洞，弱密码等风险。图3-1探针资产/脆弱性识别示意图数据审计潜伏威胁探针支持包括DNS协议、SMB协议、FTP协议、LDAP协议等常见应用类型的共100多种应用协议数据审计，为了解决存储问题，探针简化数据流，不仅大大降低对数据存储的要求，却又不丢失重要信息。因此，探针用户可以存储一周的流量数据以实现更全面的调查分析。图3-2展示部分常见的应用协议。3-2解析的常用应用协议此外，为了满足不同的客户不同的业务需求所需要的特定审计数据，探针支持过滤客户不想审计的协议数据，审计存储客户关注的数据，不仅能减少客户的数据存储压力，更能减少客户对审计数据进一步分析的工作量。全面检测潜伏威胁探针对于病毒、蠕虫、木马后门、拒绝服务攻击、各种服务器攻击、终端攻击、扫描攻击、SQL注入、XSS、缓冲区溢出、欺骗劫持等攻击行为以及网络资源滥用行为（如P2P上传/下载、CGI访问攻击、IIS服务器攻击、网络游戏、视频/音频、网络炒股）等威胁具有高精度的检测能力。同时，探针的自定义应用识别规则库模块，可以通过参数的灵活设定，把关注的特殊事件作为自定义策略下发给引擎进行检测。对于网络流量的异常情况具有非常准确、有效的发现能力。产品功能潜伏威胁探针实现了网络入侵检测和网络流量采集的完美结合，该产品不仅拥有业界其它产品无以比拟的高性能、高安全性、高可靠性和易操作性等特性，同时具备资产识别、脆弱性识别、原始网络流量解析、全面的威胁检测、以及持续的威胁开放共享五大功能，为用户带来了极佳的安全体验。资产识别潜伏威胁探针为帮助保护用户快速管理自身资产，实现了基于流量检测的资产自动发现功能，可以通过流量的IP地址检测及端口检测快速发现用户资产。对于网络中的流量，我们可以通过是否与知名DNS服务器连接、是否访问知名网站、是否有被搜索引擎进行检测等算法来判定哪些是内网主机。在通过端口的连接情况，记录开放的端口情况，帮助用户了解自身的业务对外开放情况。另外探针支持通过添加设置哪些IP地址组为内网主机，达到客户自定义自身资产的目的。脆弱性识别通过对用户资产的脆弱性识别，感知用户资产中的漏洞风险、配置风险、弱密码、Web明文传输，帮助用户对自身资产安全情况的了解，以及达到提前预防的效果。实时漏洞分析潜伏威胁探针实时漏洞分析系统（PVS）实时旁路地检测经过设备的应用流量，对流量进行对应的应用解析，对解析后的应用数据匹配实时漏洞分析识别库，发现服务器存在漏洞。图4-1实时漏洞分析示意图旁路检测实时漏洞分析采用的是旁路检测技术，即将待检测的数据包镜像一份到待检测队列，检测进程对检测的数据包进行扫描检测，对原有数据包的转发不会造成任何性能影响。强大的漏洞特征库实时漏洞分析所使用的漏洞特征库由深信服北京研究中心安全专家针对目前最新的软件、系统等漏洞提取特征，形成库并快速的更新到探针设备，保证识别出网络中出现的最新漏洞。被动扫描潜伏威胁探针分析用户主机遭受攻击后反馈的流量信息，可以识别出哪些漏洞是用户主机存在，以及开发了哪些不必要的端口服务，哪些配置项配置错误。通过暴力破解攻击是否成功识别用户主机是否存在弱密码。主动扫描潜伏威胁探针提供主动扫描功能，帮助管理员分析服务器开放的端口和存在的风险，并对扫描结果提供对应防护操作，如漏洞防护，端口屏蔽等来方便用户进行安全防护。端口扫描对用户指定的服务器IP，端口进行扫描，告知用户该服务器开放了那些端口和服务漏洞分析针对端口扫描结果对开放的端口和服务进行风险分析，告知用户服务器存在的漏洞。弱密码探测提供内置和自定义弱密码库，对用户指定的服务器进行弱密码探测，分析服务器是否存在弱密码风险。协议解析协议审计目的就是把原始流量日志解析并存储下来，然后再使用检测引擎进行检测。协议解析内容潜伏威胁探针支持协议解析，包括：HTTP协议、DNS协议、数据库协议、远程过程调用（DCE-RPC）协议、动态地址解析协议、Kerberos协议、LDAP协议、SMB协议、SMTP协议、文件协议、文件传输协议、隧道协议、邮件访问协议、地址解析协议等。HTTPS加密解析由于HTTPS的数据是经过SSL加密处理的，如果不进行HTTPS解密，则无法分析加密数据包里面的内容，从而也无法达到各种攻击检测和防护的作用，而只能进行数据转发。HTTPS解密主要是在潜伏威胁探针内部实现了HTTPS的代理功能，如图4-4所示。当探针识别到用户在与HTTPS服务器建立连接时，根据用户配置的策略，把这条连接的所有数据包抓到应用层，并用用户配置的SSL证书进行SSL解密，然后把解密后的数据包进行各种安全检测处理，如数据包无异常，则再使用用户配置的SSL证书进行加密发送出去。图4-4HTTP加密解析示意图自定义解析内容潜伏威胁探针通过设置自定义协议解析规则，根据业务需求，针对不同的协议内容进行定制数据审计，过滤客户不想审计的协议数据，审计存储客户关注的数据。数据传输潜伏威胁探针支持多种API，探针能够传送检测数据和审计数据信息给态势感知平台、SIEM平台、SOC平台。威胁检测威胁检测主要针对违规访问、漏洞利用攻击、Web应用攻击、DDoS攻击、病毒攻击、黒链进行检测。违规访问检测违规访问指的是匹配到潜伏威胁探针的违规访问策略黑名单或违反了白名单，主机频繁发生违规访问，说明该主机可能被黑客控制，或为内网用户的违规操作。图4-4HTTP加密解析示意图漏洞利用攻击检测漏洞利用是获得系统控制权限的重要途径。黑客从目标系统中找到容易攻击的漏洞，然后利用该漏洞获取权限，从而实现对目标系统的控制。潜伏威胁探针具备先进的漏洞攻击特征识别规则，而且深信服有专业安全团队不断的针对新型漏洞进行识别，更新特征库，保证探针检测最新的威胁。潜伏威胁探针能够有效检测来自服务器、终端、恶意软件三个方面的漏洞攻击，主要漏洞攻击如：服务器漏洞攻击Database漏洞攻击数据库类规则识别各种数据库服务器漏洞，如Oracle、Sqlserver、Mysql等，防止攻击者通过数据库服务器漏洞攻击用户。DNS漏洞攻击DNS类规则识别各种dns服务器漏洞，如Bind等，防止攻击者通过dns服务器漏洞攻击用户。FTP漏洞攻击FTP类规则识别各种FTP服务器洞，如Serv-U、WU-FTPD、WS_FTP、3CDeamon等，防止攻击者通过FTP服务器漏洞攻击用户。邮件漏洞攻击邮件库类规则识别各种邮件服务器漏洞，如SendMail、FoxMail、MSExchange等，防止攻击者通过邮件服务器漏洞攻击用户。网络设备漏洞攻击网络设备类规则识别各种网络设备漏洞，如Cisco、Juniper、HP等，防止攻击者通过网络设备漏洞攻击用户。扫描漏洞攻击端口扫描是指攻击者发送一组端口扫描信息，试图以此入侵计算机，并了解其提供的计算机网络服务类型。Scan规则识别各种扫描攻击，如Nmap端口扫描，防止攻击者获取用户信息。Shellcode漏洞攻击Shellcode是一段小的程序，作为漏洞执行的负载，执行某种功能。Shellcode规则识别shellcode代码，防止攻击者远程执行shellcode代码。Telnet漏洞攻击Telnet类规则识别各种Telnet服务器漏洞，防止攻击者通过Telnet服务器漏洞攻击用户。TFTP漏洞攻击TFTP类规则识别各种tFTP服务器漏洞，如3CDeamon、FutureSoft等，防止攻击者通过tFTP服务器漏洞攻击用户。Web漏洞攻击Web类规则识别各种Web服务器漏洞，如IIS、Apache等，防止攻击者通过Web服务器漏洞攻击用户。客户端漏洞利用攻击application漏洞攻击应用软件类规则识别各种应用软件漏洞，如即时通讯软件、P2P下载软件、媒体播放软件、游戏软件、安全软件、备份软件等，防止攻击者通过应用软件漏洞攻击用户。File漏洞攻击文件类规则识别各种文件格式漏洞，如office文件、pdf文件、媒体文件、图片文件等，防止攻击者通过文件格式漏洞攻击用户。System漏洞攻击系统类规则识别各种操作系统漏洞，如Windows、Linux、Unix等操作系统，防止攻击者通过操作系统漏洞攻击用户。WebActiveXActiveX是可以重用的软件组件程序，可以嵌入到Web浏览器中使用。Web_activeX类规则识别各种嵌入到浏览器的AcitveX控件漏洞，防止攻击者通过AcitveX控件漏洞攻击用户。WebBrowseWeb浏览器类规则识别各种Web浏览器漏洞，如IE、Firfox、GoolgeChrome等，防止攻击者通过Web浏览器漏洞攻击用户。恶意软件检测Backdoor漏洞攻击后门软件是一种恶意软件，可以安装在用户计算机上，绕过正常的认证系统获取远程计算机数据。后门规则识别后门软件的网络操作，防止攻击者通过后门软件获取用户数据。Spyware漏洞攻击间谍软件是一种恶意软件，可以安装在用户计算机上，在没有通知用户的情况下，定期收集用户信息。间谍规则识别间谍软件的网络操作，防止攻击者通过间谍软件获取用户数据。Trojan漏洞攻击木马木马软件是一种恶意软件，可以安装在用户计算机上，通过木马软件远程操控目标系统并执行各种操作。木马规则识别木马软件的网络操作，防止攻击者通过木马软件控制目标系统。Worm漏洞攻击蠕虫程序是一种可以自我复制的恶意程序，可以通过网络进行传播，消耗网络和系统资源。蠕虫规则识别蠕虫程序的传播，防止攻击者通过蠕虫程序破坏目标系统。Web应用攻击检测潜伏威胁探针具备先进的Web应用防护识别库，探针具备先进的Web应用防护识别规则，而且深信服有专业安全团队不断的针对新型Web应用攻击进行识别，更新特征库，保证探针检测最新的威胁。潜伏威胁探针能够有效防护OWASP组织提出的10大Web安全威胁的主要攻击，主要功能如：SQL注入攻击SQL注入攻击产生的原因是由于在开发Web应用时，没有对用户输入数据的合法性进行判断，使应用程序存在安全隐患。用户可以提交一段数据库查询代码，根据程序返回的结果，获得某些他想得知的数据，这就是所谓的SQLInjection，即SQL注入。潜伏威胁探针可以通过高效的URL过滤技术，过滤SQL注入的关键信息，从而有效的避免网站服务器受到SQL注入攻击。XSS跨站脚本攻击跨站攻击产生的原理是攻击者通过向Web页面里插入恶意html代码，从而达到特殊目的。潜伏威胁探针通过先进的数据包正则表达式匹配原理，可以准确地过滤数据包中含有的跨站攻击的恶意代码，从而保护用户的Web服务器安全。CSRF攻击CSRF即跨站请求伪造，从成因上与XSS漏洞完全相同，不同之处在于利用的层次上，CSRF是对XSS漏洞更高级的利用，利用的核心在于通过XSS漏洞在用户浏览器上执行功能相对复杂的JavaScript脚本代码劫持用户浏览器访问存在XSS漏洞网站的会话，攻击者可以与运行于用户浏览器中的脚本代码交互，使攻击者以受攻击浏览器用户的权限执行恶意操作。探针通过先进的数据包正则表达式匹配原理，可以准确地过滤数据包中含有的CSRF的攻击代码，防止Web系统遭受跨站请求伪造攻击。弱口令检测弱口令被视为众多认证类Web应用程序的普遍风险问题，潜伏威胁探针通过对弱口令的检查，制定弱口令检查规则控制弱口令广泛存在于Web应用程序中。同时通过时间锁定的设置防止黑客对Web系统口令的暴力破解。HTTP异常检测通过对HTTP协议内容的单次解析，分析其内容字段中的异常，用户可以根据自身的Web业务系统来量身定造允许的HTTP头部请求方法，有效过滤其他非法请求信息。文件上传过滤由于Web应用系统在开发时并没有完善的安全控制，对上传至Web服务器的信息进行检查，从而导致Web服务器被植入病毒、木马成为黑客利用的工具。潜伏威胁探针通过严格控制上传文件类型，检查文件头的特征码防止有安全隐患的文件上传至服务器。同时还能够结合病毒防护、插件过滤等功能检查上传文件的安全性，以达到保护Web服务器安全的目的。缓冲区溢出检测缓冲区溢出攻击是利用缓冲区溢出漏洞所进行的攻击行动。可以利用它执行非授权指令，甚至可以取得系统特权，进而进行各种非法操作。潜伏威胁探针通过对URL长度，POST实体长度和HTTP头部内容长度检测来防御此类型的攻击。DDOS检测潜伏威胁探针采用自主研发的DOS攻击算法，可防护基于数据包的DOS攻击、IP协议报文的DOS攻击、TCP协议报文的DOS攻击、基于HTTP协议的DOS攻击等，实现对网络层、应用层的各类资源耗尽的拒绝服务攻击的防护，实现L2-L7层的异常流量清洗。探针通过两个检测阶段进行DDoS的检测，如图4-5所示：图4-5DDoS检测过程示意图对于业务数据第一阶段进行TCP异常包、IP选项攻击、未知IP协议攻击、IP分片攻击、LAND攻击、WINNUKE攻击、SMURF攻击、TCP选项攻击、各种FLOOD攻击（包括SYNFLOOD,ICMPFLOOD,UDPFLOOD,DNSQUERYFLOOD）等DDoS检测。当第一阶段中检测到SYN包频率过高时，将在第二阶段对TCP连接做SYNCOOKIE代理，第二阶段还进行ICMP大包攻击(即pingofdeath)等检测。对于本机（访问探针自身）数据，DDoS检测模块会在第一阶段做端口扫描的检测（SYN扫描和CONNECT扫描），包括所有的nmap扫描：FIN扫描，NULL扫描，xmastree扫描，UDP扫描，ACK扫描，MAIMON扫描，WINDOWS扫描，TCPIdle扫描。而第二阶段根据第一阶段的检测结果决定是否做本机的syn代理。黑链检测黑客通过非法手段在Web服务器中的页面插入非法链接，或者在Web服务器中放置存在非法链接的页面。这些非法链就是黑链。黑链对客户造成许多的不良影响：损害网站形象、降低搜索排名、同时也说明客户网站存在严重安全隐患。黑链检测功能实现识别客户的Web服务器是否被植入黑链。其关键技术：页面缓存重组、自然语言分析、关键字关联、特征分析、KNN、页面属性识别、动态权重。黒链检测过程如下：在爬虫请求和浏览器请求内网站点页面时，缓存页面关键属性内容，重组html、css、js等站点关键信息，进入分析阶段。提取关键信息中的Html各代码段显示特性（如隐藏、位移等）、关键字、外部链接、插入的JS等信息。根据自然语言分析、KNN等智能分析技术识别上述信息，得到初步鉴定结果权重值。将关键字、显示特征与已知黑链识别库（样本识别提取的入库特征）进行关联，按匹配程度调整权重值。识别页面站点属性和插入JS属性（已知购物、政府、企业、视频、教育等），根据属性调整权重值，最后得出是否为黑链。（4、5步均为降低误判举措，如政府网站很少出现购物信息，但会出现打击赌博相关语言）图4-7黒链检测过程示意图产品架构与部署潜伏威胁探针是构筑在多核平台上，系统各平面、各模块间的监控和协调运作，以及内容审计和安全检测等功能都是运行在多核平台上。探针的部署方式是旁路部署，接入旁路镜像口对数据流进行审计，不改变原有网络结构。系统架构设计潜伏威胁探针构筑在64位多核并发，高速硬件平台之上，采用自主研发基于Linux操作系统的并行处理操作（SangforOS），将控制平面、内容平面并行运行在多核平台上。多平面并发处理，紧密协作，极大的提升了网络数据包的安全处理性能。潜伏威胁探针通过软件设计将网络层和应用层的数据处理进行分离，在底层以应用识别模块为基础，对所有网卡接收到的数据进行识别，再通过抓包驱动把需要处理的应用数据报文抓取到应用层。若应用层发生数据处理失败的情况，也不会影响到网络层数据的转发，从而实现高效、可靠的数据报文处理。整体架构设计如图1-1所示：图1-1系统架构设计图控制平面负责整个系统各平面、各模块间的监控和协调工作，此平面包括配置存储、配置下发、控制台UI、数据中心等功能。内容平面负责内容审计和内容安全功能的协调运行，采用一次解析引擎，一次扫描便可识别出各种威胁和攻击，内容安全平面包括漏洞攻击识别、Web应用防护、实时漏洞分析、僵尸网络、数据防泄密、内容过滤等功能。内容审计平面包括HTTP协议审计、DNS协议审计、FTP协议审计、SMTP协议审计等功能。多核并行处理潜伏威胁探针的设计不仅采用了多核的硬件架构，如图2-1所示，在计算指令设计上还采用了先进的无锁并行处理技术，能够实现多流水线同时处理，成倍提升系统吞吐量，在多核系统下性能表现十分优异，是真正的多核并行处理架构。图2-1多核硬件架构