2023全流量检测分析系统技术规范

全流量检测分析系统技术规范2023IIII前言国家对网络与信息安全要求越来越高，网络和信息安全形势日益严峻,企业数字化转型带来融合弹性、开放的网络环境，以及多元化、专业化的业务场景，安全风险涉及面更广，安全检测精度与响应时限要求更高，安全运营更为复杂。全流量分析系统可以通过对全部原始流量进行实时采集和解析，发现流量中的威胁，再结合安全情报、威胁行为等综合手段进行威胁分析并以可视化的界面展示，实现网络安全和数据安全已知威胁、未知威胁的发现及威胁溯源，实时了解安全态势，降低安全风险。II目录版权声明 I编制说明 II前言 III术语和定义 1设备概述 1总体功能要求——探针 2总体功能要求——分析平台 2功能要求探针 3数据解析功能要求 3威胁检测功能要求 3安全反馈功能要求 4样本还原功能要求 6功能要求分析平台 7威胁分析功能要求 7威胁追踪功能要求 11威胁展示功能要求 12威胁处置功能要求 14性能要求 14PAGEPAGE10术语和定义全流量检测分析系统全流量检测分析系统通过对全部原始流量进行实时采集和解析，发现流量中的威胁，再结合安全情报、威胁行为等综合手段进行威胁分析并以可视化的界面展示，实现网络安全和数据安全已知威胁、未知威胁的发现及威胁溯源，实时了解安全态势，降低安全风险。全流量检测分析系统——探针一种部署于通信网络中，能够对流量进行采集、解析、还原和分析等工作，同时具备全量pcap包、威胁pcap包存储的网络安全设备。全流量检测分析系统——分析平台全流量平台以存储为基础，以数据分析为核心，以自动化处置为辅助，通过对流量元数据进行加工和整理，利用其大数据分析能力及多样化的机器学习算法，快速发现各类安全威胁及事件，并可以对历史事件进行回溯，准确把握事件发生的过程及影响，以有效支撑威胁分析、追踪、展示、处置工作，提升安全分析和响应能力为目标。设备概述全流量检测分析系统直连互联网流量出口区域交换机，以镜像或分光的模式将网络流量导入并进行威胁检测，镜像模式采用单向模式，镜像口仅接收流量，不发送流量，并且不需进行IP地址、路由等配置。一个机房内单个或多个互联网出口交换机流量可利用汇聚分流设备或其他负载均衡设备进行流量汇总、分发至多个探针服务器进行威胁检测。探针对流量进行采集、解析、还原等工作，将生产的威胁检测结果文件，上报至分析平台进行威胁分析与存储。全流量检测分析系统——分析平台可以集中部署于互联网流量中心，也可分布式部署于互联网流量节点。分析平台接受探针生成的日志文件并进行日志存储，利用其机器学习引擎和规则检测能力关联化分析网络安全事件，并可与第三方系统进行联动处置。全流量检测分析系统也可以集探针与分析平台一体化研发，其技术要求与探针、分析平台一致。总体功能要求——探针全流量检测分析系统——探针应支持数据解析、威胁检测、安全反馈、样本还原功能：数据解析：支持ipv4/ipv6环境的常用应用协议、VPN协议、及常见端口上的非标准协议流量的解析还原，支持导入多个https证书进行加密流量的解析等；威胁检测：支持网络攻击、恶意程序文件攻击、挖矿、口令暴力破解、抗逃逸攻击、漏洞攻击、DDOS（IP、域名、URL等威胁检测；安全反馈：支持对威胁事件生成多维度特征的告警和日志；支持流量元数据的按自定义规则进行提取、样本存储、pcap包存储、检索、回溯；样本还原：支持对监控流量的文件样本进行捕获还原并记录；总体功能要求——分析平台全流量检测分析系统——分析平台应支持威胁分析、威胁追踪、威胁展示、威胁处置功能。件数量；支持场景化分析；支持未知资产发现和失陷资产分析等；pcap示等；威胁处置：支持告警多种方式通知；支持回溯报文记录；支持流量封堵；功能要求探针数据解析功能要求数据解析功能是设备通过物理端口接入原始流量并进行报文重组、还原后，对流量中的协议和会话进行识别解析，为进行下一步的威胁检测以及处理功能进行流量数据包的解包。数据解析功能支持以下要求：ipv4/ipv6ipv4\ipv6下进行攻击检测；支持常用协议的解析和还原，包括但不限于IP、TCP、UDP、ICMP、VLAN、MPLS、HTTP、HTTP2、WAP、SMTP、IMAP、POP3、WEBMAIL、SMBFTPTELNETDNSSSLMYSQLMSSQLPostgreSQLMongoDBHTTPSRSA、AES、DESSM2SM3SM4L2TP、PPTP、IPSECVPN、OpenVPNVPN（旁路方式外）；支持检测常见端口上的非标准协议，例如80端口的非常见协议是指非http协议；支持会话乱序重组，支持单向和双向流量检测；支持流量同源同宿处理。威胁检测功能要求威胁检测功能是探针的核心，主要基于行为策略，码流特征，包特征，威胁情报特征等，实现对恶意代码以及安全攻击行为的事件分析监测。8EXE、JAR、APK、CAB、RAR、ZIP、IPA、COD、ALX、PRC、ELF出攻击等各种威胁的全面有效检测，支持自定义检测模型；SQLXSSSSI隐秘隧道的监测）、C&C支持常见的挖矿协议，例如Stratum(STM)、GetBlockTemplate（GBT）GetWork（GWK）等，可识别出挖矿主机及域名；支持对常见应用服务（HTTP、HTTPS、FTP、SSH、SMTP、IMAP、RDP等）、数据库协议（MYSQL、ORACLE、MSSQL）WEB支持网络流量逃逸攻击的检测；操作行为事件；DDOS/DDOSURL、IPIPURL和恶意文件进行检测支持黑白名单检测，支持基于服务、IP单规则的自学习；IPMAC、服务端口号、服务协议和关联用户登录账号等；安全反馈功能要求反馈功能是探针在监测分析后对危害严重或造成影响达到规模的事件进行告警或上报。生成告警及日志支持流量元数据（（TCP/UDPHTTP、SMTP、POP3、IMAP、WEBMAIL、FTP、TELNET、MYSQL、MSSQL、ORACLE、Radius））量日志生成，；ID义、告警级别、告警类型、告警参数（开始时间、结束时间）；MD5CVE流量元数据提取、存储、检索、回溯提取支持流量元数据（TCP/UDPHTTP、SMTP、POP3、IMAP、WEBMAIL、FTP、TELNET、MYSQL、MSSQL、ORACLE、Radius）存储和检索；WEB证、ID特征数据包进行提取；存储支持存储告警原始流量（pcap），够查看告警对应的原始流量数据；PCAPIPIP间；支持外挂存储，并按照监管侧规则重新加载外挂存储的流量信息。检索、回溯HTTPEMAILTELNET志、认证日志、数据库日志、登录日志、SSL&TLS日志、FTP日志、DNS日志，回溯时间可自定义；支持日志预过滤功能（白名单），日志；支持对历史流量进行回溯分析，支持自定义时间范围；支持以源/IP、源/pcap样本还原功能要求还原功能主要是在分析监控流量时对文件样本进行捕获还原并记录上报的功能。该功能主要应用于流量处理时对于恶意程序文件流，尤其是可执行文件在内存加载的中进行检测分析，包括文件的格式、类型、大小以及MD5，恶意性或疑似恶意性等，如果符合恶意程序文件的判定规则，则直接判定为恶意样本或黑样本，如果为疑似恶意程序则判定为疑似样本或灰样本，可以将进行事件记录，再将捕获的文件和事件记录按照要求打包上报平台。样本还原功能的具体要求如下：8EXE、JAR、APK、CAB、RAR、ZIP、IPA、COD、ALX、PRC、ELF压缩包文件、脚本文件、PE提供威胁告警信息；webmail、SMTP、POP3、IMAP信息，按需上传；HTTP、FTP、SMB、POP3、SMTP、IMAP文件，并检测文件中存在的恶意代码；MD5置对规则进行灵活组合以及修改；本文件和相关网络日志信息。功能要求分析平台威胁分析功能要求分析平台应支持对探针日志的接收，并对全流量威胁检测结果进行关联分析。用户行为分析分析平台应具备通过网络流量梳理业务行为与用户行为的能力，基于正常的业务行为与用户行为，建立业务行为模型与用户行为模型，基于针对正常业务行为与用户行为的偏离，发现潜在的威胁，具体要求如下。支持风险账号行为分析，包括异地账号登录、异常时段账号登录、休眠账号登录、邮件登录IP异常、FTP异常用户登录、钓鱼邮件等；支持数据泄露分析，包括异常时段访问库，异常时段访问表、库（表）异常访问次数、异常访问用户、SQL执行时长异常等；HttpWebIP支持多场景的用户异常行为关联分析，并支持异常行为分析场景开发定制。流量统计分析平台应能够对原始的流量日志（端口数据、流量会话数据、应用层元数据日志、文件日志等）进行全局分析，分析方式根据日志类型进行自动判断，支持按照频次、大小、等于不等于、匹配不匹配、变化值/固定值、计算长度等逻辑算法检测，支持多个逻辑表达式组合，发现隐藏在海量流量数据中的异常通讯行为，如薅羊毛、异常数据访问等业务安全问题。平台应支持网络流量机器学习，能够自动学习建立网络正常运行基线，并IP线；基线数据类型包括但不限于：流量总字节数、入网流量、出网流量、总包数、入网包数、出网包数、ARP包数、icmp包数、小于64字节数据包数量、tcp，tcpsyntcpsynacktcprst数、tcp重传数据包数、新建会话数量、并发会话数量；支持基线数据按时间固定周期自动更新，以保证基线数据的准确性。平台应支持实时分析或历史数据定时分析。情报联防IP、URL、DomainMD5名单、APT支持展示情报命中情况，并基于导入情报进行情报回溯。支持对导入情报的命中情况进行下钻查看相关日志。攻击结果判断平台应支持对攻击事件的精准判断，通过完整地还原整个攻击事件，减少误报，降低安全告警事件数量。场景化分析支持设置、展示、分析属于重保/日常运维等场景的重点事件。针对重保等重要场景，支持展示攻击方、防守方的信息，如攻击来源、攻击手段、攻击目标、封堵处置、情报统计、攻击溯源等情况；支持展示攻防对抗的信息，包括攻击及研判趋势图、攻击地图等。针对邮箱安全专项防护场景：应支持对企业办公邮箱的各类安全隐患进行监测分析，包括但不限于：默认密码及弱口令、境外地址登录、多次异常登录（包括多次使用错误密码，短时间多次多地登录等行为）、异常外发、异常下载、钓鱼邮件（增强要求）、附件安全威胁（增强要求）等。具体包含以下五个方面：账号安全防护应具备邮箱登录时多因子验证功能。支持通过邮件账号行为算法对邮件账号登录、收发件等行为进行建模，识别邮件账号异常。支持记录完整攻击过程，建立攻击者行为模型，识别暴力破解、异常登录（包括但不限于境外地址登录、多次异常登录）、境外修改密码等账号异常行为。具备密码字典和密码强度算法的检测模型，有效发现邮箱登陆弱口令。业务安全防护应具备通过对邮件信息提取和分析，识别邮件来源、判断邮件转发路径、分析评判邮件可疑行为的能力。支持自动化回溯信件来源和传输过程，并可将IP钓鱼安全防护支持对邮件正文、主题、附件中出现的链接进行跟踪，提取邮件中网站链接、IPHTML下载识别、跳转站点识别等手段，识别恶意链接，溯源链接背景，反查注册信息，结合威胁历史记录进行链接威胁分析，防止钓鱼网站、仿冒网站、跨站跳URL审计安全防护支持提取邮件正文和主题的特征，采用异常文件结构识别技术和语义分析技术对邮件正文结构及内容进行大数据建模，识别敏感关键字。支持通过文件比对识别涉密文件、非法文件、恶意文件、涉密邮件等。文件安全防护具备附件深度检测能力，能够针对不同文件类型的附件采用特定的检测引擎,有效识别邮件攻击附件中常见文本文档、可执行文件等，能够结合沙箱行为检测等技术识别恶意行为，开展分析研判，发现附件中安全威胁。未知资产发现支持流量分析资产发现。支持资产发现结果资产列表信息展示与导出，如主机资产、网站资产等。支持资产发现结果入库时批量设置资产属性信息：资产组、视图、标签、联系人、安全属性等。失陷资产分析支持失陷资产分析，分析资产失陷后产生的一些行为，例如病毒木马后门的通信行为、异常外联行为等。持对失陷资产进行判定并提供失陷资产的判定依据，包括但不限于失陷资产概要信息、攻击结果、攻击链分布阶段、失陷资产的攻击过程及过程判定依pcap可快速扩展该失陷资产的全部攻击事件以及该失陷资产攻击者发起的攻击、该失陷资产的同类型威胁事件。支持失陷事件的检测，失陷事件规则覆盖木马连接、后门连接、隐蔽信道、挖矿、蠕虫传播、勒索软件、恶意流量等场景，支持对各类场景事件的分析、跟踪。威胁追踪功能要求分析平台应支持对特定威胁检测结果进行针对性分析。流量回溯支持通过五元组、时间范围等因子给探针创建流量取证任务。pcap事件管理支持事件的实时展示、事件查询、事件过滤和事件导出，支持事件的分权分域管理。支持事件查询统计，包括事件名称、资产名称、源目的IP、端口、攻击类型、攻击链、载荷、攻击方向、攻击结果等属性，支持检索属性自定义。支持重点事件分析：支持展示重点事件相关的攻击详情日志及相关告警日IP威胁展示功能要求分析平台应支持展示攻击告警及威胁分析结果。告警展示支持对探针威胁检测结果进行全量告警展示，支持对分析平台分析结果进行告警展示。IPIPXFF、URL/域名、威胁名称、白名单等。威胁展示支持威胁态势展示：提供威胁的实时展示能力，支持将检测到的威胁在展示界面进行实时显示，内容需全面丰富，包括但不限于：威胁的中文名称、威IPIP、威胁发生的时间等。支持事件展示：支持事件分类，如单类型高危攻击事件、攻击过程事件及场景关联攻击事件，支持展示事件列表，主要的字段包括事件结束时间、事件名称、处理情况等。报表展示支持报表生成：支持手动立即执行、周期性自动执行两种方式生成报表，报表内容包括但不限于告警展示、日志展示、事件展示、资产展示等。支持报表查看：系统应提供完善的报表，支持面向安全结论的分析报表，HTML、PDF、EXCEL、WORD个邮箱。资产画像支持资产纳管：支持根据资产的地理位置、业务系统、部门名称、运营商名称、内网地址范围或其他分类，以规范的命名方式将资产配置到系统内。支持对资产进行修改/删除、批量导入/导出/添加/修改/删除等多种方式的管理，支持资产的分权分域管理。支持资产态势展示：资产名、IP地址、MAC地址、攻击告警、攻击者、异常资产、对失陷资产进行基于失陷类型的展示，展示最近发生时间、资产名称、失陷攻击类型、操作等，其中失陷类型至少需包括“横向移动”、“异常外联”、“木马连接”、“C&C支持多维度统