大数据安全运维一体化解决方案

大数据安全运维一体化解决方案,数据驱动安全,关于,2,项目背景,随着IT业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的任务，其中首先要实施的是：安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判断，以及分析建模。应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规则引擎），并能做对应分析计算（如监控基线）。,目录 Table of Contents,系统技术架构系统基础平台安全分析,3,运维分析应用分析成功案例,系统技术架构,大数据安全运维一体化分析系统,大数据安全运维一体化分析系统，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平台，它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现和报告等功能。为企业安全事件及异常行为检测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。 本系统采用旁路快速检测方式，是对现有安全运维体系的有效补充，亦可看做下一代的安全信息及事件管理系统和运维分析平台，并可逐步替代现有分析系统。,技术架构,系统基础平台,安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包括以下信息：基础信息：资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等；安全属性：可用性、完整性和保密性以及资产价值；弱点属性：资产漏洞信息、安全配置信息等；,资产管理,数据采集范围,网络安全设备、主机操作系统、数据库、中间件、应用系统；,抽样网络流量：NetFlow信息；,全流量数据： 网络全流量数据包；,日志,网络流量,威胁情报,恶意域名和URL、恶意IP地址、DNS信息、木马病毒信息（MD5/SHA-1）等；,内部数据,外部数据,数据采集方案日志,网络设备,安全设备,数据库,中间件,Syslog/SNMP,数据库JDBC,日志采集模块,安装Agent,主机操作系统,应用系统,FTP/Kafka/HDFS,数据采集方案网络流量,Hansight NC,NC旁路连接并采集用户端镜像网络数据：1、源IP，目标IP2、协议类型、端口号3、TCP会话状态信息（建链、拆链、重传等）4、报文尺寸与数量5、组包和解包6、报文内容解析,HanSight安全运维分析一体化系统的微服务构架,HanSight安全运维分析系统的优势,基于特征库规则的应对场景比例变小，机器学习辅助成为必须以数据驱动安全，实现：数据全方位可见实时安全数据算法分析加人工辅助适合企业的安全运维一体化策略强大的底层存储分析架构和逻辑引擎,算法分析流程,适合安全分析的无监督学习为主有人工辅助的半监督学习 无监督异常分析 人工确定异常 产生标记样本 半监督学习,性能基准,入库： 30000EPS实测单独入库最高可接近20000EPS，为保证查询性能，以当前配置可使其较稳定运行