东软安全运维管理平台V50详细技术介绍方案v20.doc

东软安全运维管理平台详细技术介绍方案（v2.0）东软公司2011年3月ii东软公司更改履历版本号更改时间章节号状态更改简要描述更改人批准人v1.0曹鹏v1.1曹鹏v1.22010-9-4曹鹏v2.02011-3-10m侯小东注：状态可以为n-新建、a-增加、m-更改、d-删除。2东软集团股份有限公司目 录一、东软安全运维管理平台5.0系统亮点11.1触摸屏的全新操作模式11.2以晴雨表形象化比拟安全状态21.3业务系统的全面监控21.4基于地图或者组织结构的监控预警31.5海量异构数据收集、智能分析31.6平台支撑设备的运维细致到位3二、系统总体规划设计52.1系统业务架构52.2系统功能架构62.3系统数据架构8三、东软安全运维管理平台的技术路线103.1数据采集之“信息资源转换”103.2数据采集之“海量异构数据集成”103.3数据分析之“信息安全指数模型”133.4数据分析之“风险分析模型”143.5数据分析之“多源告警数据交叉确认机制”153.6数据分析之“安全审计模型”16四、核心功能184.1安全监控184.1.1宏观的安全态势展示184.1.2灵活的报警统计分析204.1.3基于地图/组织结构的监控预警204.1.4业务系统的深度监控214.1.5以责任单位为视角的宏观分析234.1.6对重要业务系统的宏观分析244.2运维管理254.2.1整体技术分析从全局角度关注安全254.2.2资产管理模块2责任单位管理2监控中心管理284.2.3安全报警管理与分析模块2详细的安全报警展现2广泛的数据采集范围30灵活多样的数据采集方式3分布式可自定义的事件采集策略3采集模块的多重合理化工作设计3自主设计避免事件误告与漏告的核心关联分析框架介绍3基于统计的关联分析使告警事件信息更加准确3基于规则的关联分析完成告警事件信息的深度挖掘354.2.4性能故障报警分析模块434.2.5业务系统综合分析模块4业务系统安全状况汇总4完整性检测4安全性检测4可用性检测4业务系统监控策略464.2.6符合国内运维习惯的工作流管理4工单的操作4工单的管理4根据报警触发的流程4设备使用流程4设备巡检流程50设备升级流程5设备故障处置流程524.2.7面对不同运维人员需求设计的报表管理模块534.2.8业务数据监控与处理5主机系统数据处理5数据库系统的数据处理5中间件系统的数据处理594.2.9可持续升级的安全知识库管理模块604.2.10平台支撑设备的运维服务614.3系统维护634.3.1用户与权限管理634.3.2可扩展的多引擎多应用管理654.3.3基础数据维护654.3.4系统策略配置654.3.5平台自身操作行为的日志管理66五、产品部署675.3.1产品基本形态介绍675.3.2标准网络环境部署方案675.3.3大型网络规模的分布式部署方案68ii一、 东软安全运维管理平台5.0系统亮点 中国安全管理平台起源于国内高端用户的需求，发展于行业用户的应用，soc市场也是一直被用户称为具有中国特色的安全细分市场。在这个细分市场中，拼的不是硬件，而是软件；搏的不仅仅是性能，更是功能。东软neteye安全运维平台(soc) v5.0版本恰恰充分利用了东软的“软”优势，凭借东软在中国it界软件领军的技术实力，真正实现了东软neteye安全运维平台(soc) v5.0版本的成功“软”着陆（这里的“软”指的是东软强大的自主软件研发能力）。2010年5月东软正式对外发布东软neteye安全运维平台(soc) v5.0版本。该新版本较之以前架构更先进、功能更强大，设计更新颖，更体现人性化。本次发布的东软soc v5.0版本是东软自2005年发布soc v1.0版本后，依靠连续5年在高端行业用户应用中所积累的实践经验而研发生产的。其中私有云的技术架构、基于触摸屏的操作模式、美观的界面展示、全面的数据采集、智能的关联风险分析、事件的快速响应和定位机制、在掌控整体安全状况下提供的细致分析报告功能、定制开发快速实现用户个性需求的软件研发优势和东软安全15年的安全行业整体解决方案服务能力，逐一在东软neteye安全运维平台(soc) v5.0版本中予以实现。东软neteye soc已成功实施部署在金融、电信、电力、政府、能源、航空、烟草等高端行业用户的网络系统中，采用模块化的灵活部署方式，东软soc1000系列为中小型企业提供量身定制的soc解决方案，满足日渐提升的细分行业市场安全运维管理需求。而东软soc4000系列则是将不同高端用户需求再次深度挖掘，细加工之后奉献给高端用户的一件接近完美的软件作品。1.1 触摸屏的全新操作模式东软neteye soc v5.0系统突破传统的安全产品的鼠标键盘的操作模式，在所有安全厂商中率先将触摸屏操作机制兼容到系统平台操作中，使得图形化的人机交互界面变得更为直观易用。由专业人员针对系统的图标形状、文字大小、展示区域比例、导航伸缩等方面一一进行了细致设计，充分考虑到触摸屏操作时手指点击、滑动、拖动时的有效点，并兼顾系统展示的美观度。在保留原有数据分析的基础上，东软neteye soc v5.0系统还使用了大量的flex技术，力图将数据分析的结果用最好的展示效果来实现。1.2 以晴雨表形象化比拟安全状态以往安全状况多采用数字、文字、图表等方式进行描述，这种展示晦涩、美观度较差、不支撑宏观决策分析。东软neteye soc v5.0系统试图以一种全新的视角来诠释安全，因此在系统中，我们创新的采用了以天气预报中的晴雨表的方式形象化比拟被监控对象的安全状况，分别用晴天、多云、阴天、小雨、和大雨5种天气预报来比喻从很低到很高的5个不同等级的安全状况。在原有技术支撑的基础上，用晴雨表这种人性化形态来看待安全，使得neteye soc v5.0系统的宏观展示效果更为美观和直观。1.3 业务系统的全面监控业务系统监控，是东软neteye soc v5.0系统中的一个重要模块。我们的业务系统监控模块支持分布式部署，具备良好的扩充性，每个模块可支持同时对100个业务系统进行实时检测。 这个模块实现了针对b/s架构的业务系统，尤其是网站进行全面的监控，主要检测这些业务系统的可用性、安全性和完整性。落实到监控的具体功能点上，即为：系统是否服务中断、不可达，是否被挂马，是否被恶意篡改，如果是网站，是否包含一些敏感言论的关键词，从而进行相关的检索与查看。针对网页篡改，我们neteye soc v5.0系统主要通过：网页快照浏览器对比、文本对比、源代码对比、更改报告等几种方式来综合进行分析；针对网站挂马，系统采用静态分析和动态模拟技术，能够智能跟踪最新黑客挂马技术手段，对网页中出现的多层嵌套地址也能彻底分析，一旦发现挂马，系统自动生成挂马分析报告。1.4 基于地图或者组织结构的监控预警在用户的网络结构中，会涉及到众多的被监控的业务系统，安全设备，报警数据、安全事件等等，那么如何将虚拟网络世界这些杂乱无章的信息通过一种有序的方式将这些数据一一表现出来呢。 东软neteye soc v5.0系统直观的采用地图或者组织结构的方式进行业务系统、安全设备等静态信息的标注和报警数据、安全事件动态信息的分布展示。在地图或者组织结构中，东软neteye soc v5.0系统首先标注了责任单位、监控节点、重要信息系统这些基本信息。其次通过地图或者组织结构的方式展现soc平台所收集的报警信息的分布情况，这些信息可以有效协助运维人员快速准确定位发生安全问题的具体单位以及其具体位置，在每次面临威胁攻击事件时，其设计可以更早的将事件信息通报到具体的责任单位相关人员，为安全事件的应急处理争取时间。1.5 海量异构数据收集、智能分析东软neteye soc v5.0系统的数据采集引擎支持分布式部署，从而实现海量数据的收集与分析。系统通过在分布式部署的数据采集引擎和中心服务器上配置的收集、分析策略实现对海量异构数据进行过滤、归并、分析和处理，大量过滤重复、无效数据。目前在一个较大的项目实施中，soc平台每天收集的原始日志最高可达到6500万条，通过不断积累完善的归并、分析策略，平台每日上报的有效报警数据可以达到500条左右。当需要进行深入数据分析时，可随时将保存在数据采集引擎上的原始日志上调到中心。1.6 平台支撑设备的运维细致到位目前东软所实施一个较大的soc平台案例，共涉及50余台soc服务器、200余台安全设备与网络设备，那么支撑soc平台运转的it基础设施的运维也是技术人员的日常工作，为此，我们设计了一个专门的功能模块来协助运维人员针对it支撑设施进行日常的运维、管理。通过总体健康度，可实时监控soc平台整体运行情况，实时监控支撑soc平台服务的所有核心服务器的关键运行指标，所有采集服务器的关键运行指标，所有it支撑设备的性能故障异常报警。在设备监控中，可以按照监控节点或者设备类型，对支撑soc平台服务的所有网络设备和安全设备进行实时监控，包括cpu、内存、磁盘等关键运行指标。并对根据各个设备的特点，设置了相应的阀值，一旦超出阀值，及时进行性能异常报警。上述这些平台支撑设备运维功能，实现了安全产品和soc的紧密联系，达到了soc平台自身以及其it支撑设备的高效管理。二、 系统总体规划设计2.1 系统业务架构从上图可看出，东软neteye soc v5.0系统致力于实现：以监控预警为核心业务，以对监控数据进行获取和分析为主要手段的综合性业务平台。业务类型总体分为以下6个方面：业务系统监控。neteye soc系统实时监控、检测重要业务系统的运行情况，提供对重要业务系统，尤其是网站的可用性、网站的安全性、网站的完整性三方面的检测功能。网络监控。neteye soc系统提供对业务网络环境下的拓扑管理、链路管理、网络设备管理等具体业务功能。互联网出口监控。neteye soc系统实时监控、检测用户互联网接入点，可配合病毒入侵监测、互联网行为与内容审计、网络入侵行为监测安全设备来实现针对互联网出口的全面安全管理与监控功能。信息系统监控。neteye soc系统负责实时监控受保护下的各个重要信息系统的安全状况，可配合病毒入侵监测、互联网行为与内容审计、网络入侵行为监测和僵尸网络检测等安全设备来实现针对重要信息系统的全面安全管理与监控功能。责任单位管理。 责任单位是neteye soc系统的保护对象，系统支持对责任单位的基本信息、组织结构、ip地址、信息系统、测评检查工作、应急事件上报情况等进行定义、登记和管理的功能。运维管理。neteye soc系统一旦监测到某个受保护系统或设备受到安全破坏的威胁时，系统能够通过数据分析报表、组织结构定位等形式帮助技术人员对安全破坏行为进行快速定位，同时技术人员可利用平台数据库中的责任单位信息协助向责任单位提供有效的应急响应和预警服务。2.2 系统功能架构根据对soc系统核心业务分析形成的总体业务架构，对核心业务目标的支持手段进一步丰富，对扩展出的功能点进行归并整合，形成了系统总体功能框架，如下图所示：如上图所示，neteye soc系统以各种it硬件设备的监控信息和日志信息做为数据源，以各类数据的流转和处理为功能划分依据，将总体功能分为4大类别：1、数据采集功能：根据平台指定的运维策略，数据采集层负责从网络设备、安全设备、业务系统、服务器等采集各种安全信息、日志信息、流量信息，经过数据格式标准化、数据归并、数据压缩等处理后，提交给上层数据处理平台。平台支持从指定的互联网网站主动采集与安全相关的舆情信息，平台支持根据网站的结构、网站的内容结构进行信息采集，采集后的信息经过归并汇总后，可在系统中进行查看和编辑。2、数据处理功能：平台将采集到的原始数据按照业务系统数据、网络数据、安全数据进行分门别类，经过基于统计、基于资产、基于规则的关联分析后，科学合理的定义安全事件的性质和处理级别，作为展示平台的数据基础。3、数据分析功能：以丰富的报表展现手段对各类数据进行直观显示，辅助以网络拓扑、地理位置两种图形化功能为平台用户提供方便快捷的信息获取途径。对于安全数据的分析，也会借助知识库提供的分析策略提高数据分析的准确性。4、监控预警功能：实现整个平台的灵活展示和配置管理。一方面通过丰富的图形化展示方式呈现业务网络整体安全状况，提供有效的安全预警，减少安全破坏的发生，降低安全事件所造成的损失；另一方面对平台进行配置与维护。2.3 系统数据架构数据物理存储结构neteye soc系统采集的业务系统信息数据和安全日志数据信息在一定轮询周期（时间较短）就需进行一次存储，数据特征为数据量大、插入操作频繁、查询操作范围小。因此对采集上来的数据存储逻辑进行优化，使用专业技术将监控数据的历史时序业务数据表进行分区管理，按月分区将数据表进一步划分。这样在查询历史数据时间跨度在一个月内时查询速度等效，使用分区表本地索引及全局索引对查询进行优化。所有安全监控与管理的业务信息都有当前数据存储表用于快速监控业务信息数据查看，并对安全监控与管理的业务数据独立建立索引存储空间减少单文件i/o争用，提高索引读写速度。数据逻辑结构根据数据的类别和来源，将neteye soc系统中的数据分为安全日志数据、业务系统信息数据、责任单位信息、平台系统信息、运维管理数据、知识库数据6大类型。具体参见下图： 上图列举了neteye soc系统数据库的各数据实体，用树形结构展现了6大类数据下包含的各级数据关系。其中安全日志数据和业务系统信息是neteye soc系统重要数据对象，安全策略信息是支撑系统监控职能的重要配置信息。在总体数据架构图中进行了第3级的细分，下面将列举各类数据的具体数据项。1、安全日志数据，此类数据主要来自采集引擎对安全设备和网络设备的数据获取。安全设备日志数据主要来源ids、网络行为审计系统、病毒检测系统、防火墙、vpn等安全系统的告警日志。网络设备数据包括接口数量，每个接口的ip地址/mac地址，接口信息、接口索引、接口类型、接口描述、接口速率、工作状态、管理状态、接口总流量、入口流量、出口流量、丢包信息、错包信息等等。2、业务系统信息，指neteye soc系统监控下重要信息系统中的数据服务器、中间件服务器、应用服务主机操作系统的各类信息。针对操作系统，获取的信息包括：操作系统类型和版本，网络接口数量， ip地址/mac地址、子网掩码，cpu编号、内核数、cpu品牌，内存大小，cpu动态信息、内存动态信息、系统进程动态信息、硬盘动态信息、用户访问信息等，平台支持主流的windows、unix、linux等各类衍生系统的信息获取；针对数据库，获取的信息包括：数据库名称、数据路径、基本目录、数据库版本、字符集、配置的临时表大小、临时表目录、数据表信息、缓存信息、线程信息、锁信息、页和行锁信息，平台支持当前主流的oracle、db2、sqlserver、mysql中对应信息的获取；针对中间件，获取的信息包括：中间件系统类型、中间件系统版本信息、会话动态信息、进程池动态信息、jdbc连接池动态信息、事务数动态信息、事务的平均持续时间、jvm动态信息、ejb动态信息等，平台支持websphere、apachetomcat、weblobic、iis这四类主流中间件产品运行信息的获取。3、责任单位信息。责任单位主要是指neteye soc系统的保护对象，在平台数据库中需要维护责任单位的基本信息、组织结构、ip地址、信息系统、测评检查工作、应急事件上报情况信息，一旦监控对象的网络或信息化系统发生故障或受到攻击，系统可第一时间通过安全设备的日志信息分析得到告警信息，技术人员可在数据库中查找责任单位基本信息，迅速向责任单位提供有效的应急响应和预警服务。4、运维管理数据，运维管理是建立在数据的采集、处理、分析这一系列基础功能至上的核心业务，此部分数据除包括工单的问题描述、处理跟踪、状态信息等信息，还包括平台管理员对平台整体监控策略的调配信息。5、知识库数据，知识库的应用是扩充平台数据处理能力，提高平台监控准确性的重要手段。本平台在知识库数据收集和处理方面，考虑到方便系统运维、完善安全策略、普及安全知识等多方面，内容涵盖ip地址库、漏洞库、监控平台规则库、网络知识、政策文件、工作手册、监控报告、态势报告、案例分析、数据库知识、操作系统知识、安全知识等。6、平台系统信息，是平台应用系统的支撑数据，包括用户信息、权限控制信息、系统日志等应用数据。平台还提供了直接登陆监控设备控制页面的快捷通道，这些通道的地址或url信息都作为设备资产信息的一部分保存在平台系统信息库中。三、 东软安全运维管理平台的技术路线3.1 数据采集之“信息资源转换”东软neteye soc v5.0系统的工作基础是统一的信息安全库，随着it基础设施种类的增加、品牌的扩充，随着安全的逐步发展，信息安全库的内容也会日趋丰富。应用信息资源转换技术首先从每个品牌的it基础设施收集原始的日志全集（也称为原始信息安全库），然后进行统一的转换和解析，保存到监控预警平台的统一信息知识库中。不同品牌的it基础设施输出原始信息安全库的方式各有差异，针对目前的研究，我们总结至少包括：mib库形式；xml格式文件；文本文件方式；数据库文件形式；针对不同形式的原始信息安全库的输出，信息资源转换技术和系统分别设计单独的模块进行资源转换，具体会遵从如下技术路线：针对每种原始信息安全库的输出，根据厂商提供的输出格式，信息资源转换技术和系统首先设计信息安全库识别模块，从原始信息安全库读取所有的内容；将读取后的内容按照监控预警平台规定的安全信息接口规范，进行逐一转换；对转换后的内容按照安全事件的基本类型进行归类，再按照子类型进行细分；将归类后的内容存放在平台的统一的信息安全库中。3.2 数据采集之“海量异构数据集成”海量异构数据集成是数据采集过程中最为重要的技术。异构数据集成采用xml这种标准、开放的数据结构来表示数据信息；xml 是一种半结构化的数据模型。xml的诸多特性使得它可以描述不规则的数据；能够集成来自不同数据源的数据；可以将多个应用程序所生成的数据纳入同一个xml文件。因此把xml作为集成系统中集成层的数据描述工具和转换工具是海量异构数据集成技术和系统必然的选择。海量异构数据集成技术和系统实现路线的结构图如下图所示。在此模型中，用户对信息的访问、操作并不是直接作用于数据源，而是通过访问虚拟数据库接口实现的。此结构图分为三层：(1)数据源层 该层负责提供系统数据，包括以各种方式获取的数据；(2)通信层 完成各类数据源与xml 数据模型的转换。将数据存储到集成模式空间中，并维持集成模式空间与异构数据源之间的映射；(3)集成层 其实是一个虚拟的数据库。通信层统一格式的易于通信的数据借助于元数据字典，集成为统一视图。虚拟数据库的建立过程是针对所有数据源数据模式的抽取过程，它将各应用系统数据库中的不同数据表示形式统一成一致的数据视图。上层（接口层）针对虚拟数据库进行，与具体应用数据库无关。因此也使得采用目前流行、成熟的软件构件方法开发的构件可以集成到任意一个应用系统中, 具有构件集成简单、与数据库联系紧密等特点。此外，集成存取处理模块用来实现对异构数据的存取、查询等操作。通信层主要完成xml数据模型与数据源的双向转换。在这里，用xml描述集成数据，用xml 文档和格式文件dtd表示集成模式与数据源之间的映射。xml 数据模型与数据库的转换主要体现在xml 的dtd 和数据库数据模型的相互转换。从dtd 转换到数据库模型的原理如下: 从dtd 生成一个关系模式，并在此基础上建立关系数据库；对dtd 中的每一个元素，产生关系数据库的一个表和一个主键列； 对每一个有混合内容的元素，产生一个独立的表，用来存储pcdata，并通过父表的主键与父表相连；对元素类型中的每一个单一值的属性，即对只具有pcdata 内容的按顺序出现的子元素，产生一个单独列，该列应该可以允许为null 类型；对有多个值的属性和可以出现多次的pcdata 类子元素，需要创建一个单独的表来存储这些值，并通过父表的主键与父表相连；对每一个包含元素或混合内容的子元素来说，通过父表的主键把父元素与子元素连接起来。从数据库模型到dtd的转换相对容易一些，分为三步: 对一个表，创建一个元素；对表中的每一列，创建一个属性或是一个只有pcdata 内容的子元素；根据表中的每一个主键/ 外键关系，创建该表元素的子元素。xml 数据模型与数据之间的转换可以分为模板驱动和模型驱动两种形式:基于模板驱动只能应用于关系数据库与xml 文档之间传递数据，它需要在一个模板中嵌入带参数的sql 命令，并用数据传输如中间件等实体软件进行处理；基于模型驱动的转换是，当把数据从数据库传送到xml 文档或把数据从xml文档传送到数据库时，是用一个具体模型实现的，而不是仅仅依赖内嵌sql命令。关系数据库的理论依据是关系模型；面向对象的理论依据是对象模型；而xml 的文档依据是xml schemas或dtd。总体说来，通信层的专用接口模块就是将由各数据源的数据到一个xml数据模型的双向转换。集成层为用户提供根据特定集成应用而设计的一个虚拟集成视图。虚拟集成视图是一个虚拟关系（或虚拟对象类）集合。采用xml 作为集成系统的公共模型，用一个dtd描述集成层的一个虚拟对象类，一个元素对应虚拟对象类的一个属性，所有虚拟对象类的dtd 组成集成系统的集成模式。根据不同用户的不同需求，可定义不同的xsl 样式表，来屏蔽一些对象或对象的属性，改变对象的显示形式，提供不同的用户视图。海量异构数据集成技术在实现对各个数据源的集成存取，即将用户对继承视图的存取转换成对异构数据源的操作时，有两种实现方法，即gav（global as view）和lav（local as view）。gav方法要求为集成视图中的每一个虚拟关系（或虚拟对象类）r写出一个查询，说明如何从信息源得到r 的元组（或对象）。这种方法的特点是查询转换简单，但增加新数据源时比较麻烦。lav 方法则相反，它要求为每一个数据源s 给出一个针对集成视图的查询，说明集成视图中的哪些元组（或对象）可在s中找到。它的优点是易于插入新数据源，但查询转换相对麻烦。在此系统中采用的是gav方法。海量异构数据集成技术和系统为集成模式中的每一个虚拟对象类创建一个能动态生成xml 文档的脚本文件，说明如何从信息源得到该虚拟对象类的对象，如何将源数据转换成集成数据。当用户要访问集成数据时，系统按下列步骤进行查询转换: 根据用户提出的查询条件，生成一棵查询树；将诸如选择、投影操作尽量推向叶节点（即数据源）；将对各数据源的操作追加到相应的文本文件中；调用文本文件，生成来自多数据源的包含用户所需数据的xml文档；选择合适的xsl，应用于所生成的xml 文档，提交给用户。3.3 数据分析之“信息安全指数模型”（1）调研国内外当前信息安全标准和相关指标体系、模型的研究情况，结合平台所监控网络的自身特点，明确信息安全指数模型；（2）指数模型中安全评价级别的定义。明确被监控对象的信息安全状况。建立如高、中、低等定性描述方式的评价方法，分级别描述当前所监控网络所处信息安全的状况；(3)确定构成指数模型的基本指标项及其权重因素和数据来源。确定反映网络安全事件、现有安全风险、用户感知等情况的基本指标项，以及对应的事件具体内容和来源。通过指标项的影响、专家经验和系统试运行结果等，确定每类指标项的实际权重，以便科学准确的计算出最终的评价指标值；(4)安全评价基本计算模型和方法。计算模型采用分层模式，每个层次的指标反映某一方面安全性的总体情况，上层指标可由下层指标经过层次分析模型（ahp）汇总得出，中间层由相应的最底层的若干基本指标项加权计算得出。为使各个单一指数有统一的度量范围，计算时将采用极大值法、极大极小值法或中间变量法。由于安全事件和威胁本身的复杂性，为纠正权重设置等数字计算时可能带来的偏差，会采用神经网络学习、专家经验等方式进行适度修正，如下图所示。3.4 数据分析之“风险分析模型”东软neteye soc v5.0系统的风险分析在实现时，将jdl（joint director of laboratories）模型作为参考，此模型如下图所示。jdl模型有5个级别，0级，子对象数据评估，1级，对象评估，2级，态势评估，3级，影响评估，4级，过程改善。数据流从0级（子对象评估）进入模型，0级提供了对于源数据位或者信号的物理访问。另外，通过子对象数据关联与描述可以判断与预测一个实际存在的对象。随着时间推移在建立事件轨迹的时候是对象是互相关联和重叠的，1级对象评估处理过程中将进行对象的识别。在2级态势评估过程中，对象的知识库，其特性，横向、纵向的相互关系将被聚合，从而去了解当前真实的安全态势。在态势评估后，对于特定态势的影响必须被3级（影响评估）过程处理，影响评估包括可能性评估，和事件发生后产生可能结果的成本/效用度量。4级过程改善，对于各个级别提供一个反馈机制，包括各个数据源本身，以及事件产生的驱动。监控预警平台的风险评估模块，利用该模型可以进行更进一步的分析，事实上在每个功能模块在实现的同时已经为最终的风险评估提供了必要的数据或者接口。资产的收集，信息资产有很多来源，可以是it基础架构里定义的资产，人工注册登记的资产。初步过滤，去接收到的噪音数据，并且针对非结构化或半结构化等数据进行修正。排列，所有衡量机制置于一个公共的同一时空参考系，建立统一的信息安全数据库。关联，新的风险测量机制与所有已知安全事件的预报状态相联系，从而确定每个测量机制是否可以用于对已知记录的更新。跟踪，任何安全事件的数据序列用于开发一个动态目标模型，通过与各种新感应数据的关联，动态行为模式的修正，可以预测在未来的时空范围内特定安全事件可能的状态。识别，对指定安全事件的所有关联数据会执行自动化的目标识别，并且将指定的安全事件分派的一个或者多个特定类型当中。2级和3级处理，在考虑整个场景模式以及应用环境的前提下（地域、目标混杂与时空交错），用通用的术语和方法（威胁、脆弱性等）给出当前安全风险的真实态势。如下图所示。其中，关联分析是风险评估的核心内容，它通过如下方式实现：基于规则的关联分析，基于统计的关联分析，基于状态的关联分析，基于被监控对象的关联分析等。3.5 数据分析之“多源告警数据交叉确认机制”多源告警数据交叉确认机制主要研究模糊推理理论及算法提高多源告警数据的可靠性。入侵检测技术总是以追求高的检测准确率为目的，但是在实际运维过程中总会因为各种各样的原因导致一定程度上的误报、漏报，或者由于入侵手段的多样性使得呈现在管理人员面前的数据总是无法使管理人员真正的把握入侵行为的脉络。该机制的数据基础正是平台全面收集的与审计相关的各种系统信息和业务信息。当多源审计结果汇总后该机制进行交叉验证，输出其中得到确认的审计警告信息。多源告警数据交叉确认机制如下图所示。3.6 数据分析之“安全审计模型”以真实可靠告警数据作为安全审计模型的输入，对平台所监控环境的安全状态进行量化评估。技术路线如下图所示。安全审计模型的计算评估过程可以被分为以下几个过程:过程一：利用系统静态漏洞评估的结果和确认后的警告信息来得到综合评估矩阵，利用系统静态评估结果和前次得到的可能入侵方式排序来得到评估因素的权重向量；过程二：利用综合评估矩阵和评估因素权重向量来计算系统当前的安全状态指标，同时也就可以得到系统当前可能遭受的入侵方式排序列表（注：当综合评估计算结束后可以得到针对多种可能入侵的评估指标，其中的最高指标即可以视为当前系统的安全状态指标，而这些指标的排序即为可能得入侵方式排序）；过程三：在计算系统安全状态指标的同时，可以对前次计算所得的可能入侵方式列表进行验证。当本次的警告信息仍然可以被该列表包括时，则认为安全状态的评估正常;否则认为评估的结果无法对提交的警告信息进行解释。此时有可能发生新类型的入侵，应该提高安全警告的等级以引起安全管理人员的注意。模型中使用的模糊审计模型简单描述如下：因素集：包括以前漏洞利用指数，警告权重指数，警告、漏洞相关指数等；评判集：包括危险程度低，危险程度中等，危险程度高三种类型；权重集和评判矩阵是每次根据评估状况动态确立的。其中评判矩阵一般由静态漏洞模拟提供的参考结果。而权重集的确立则是根据静态漏洞集和上次运行所得到的可能漏洞利用排序结果得到的。四、 核心功能4.1 安全监控安全监控功能主要是对业务网络整体安全状况进行宏观态势统计与展示，通过地图或者组织结构进行事件的定位，按照各个分支结构、或者不同的对象类别分门别类的进行展示与分析。4.1.1 宏观的安全态势展示安全态势分析可直观的反应出业务网络近一周以及近一个月的整体安全状况，主要是从事件统计和报警展现两个层面来进行展示的。原始日志、报警与安全事件在以往的安全概念中，经常被混为一谈，没有严格的界定机制，在东软neteye soc v5.0系统中，我们针对原始日志、报警和安全事件进行了严格的定义。具体如下：原始日志：平台每天要从众多安全设备、网络设备、业务系统等收集到的海量数据，我们把它称为原始日志。报警数据：针对原始日志，平台采用了一定的聚合、归并、和关联分析技术后，每天上报到中心的数据为报警数据。安全事件：报警数据所表现出来的行为仍然为疑似恶意行为，技术运维人员针对报警数据进行分析后，一旦判断为真实的恶意行为，就会生成安全事件，从而进入后续的事件处置流程。安全态势中的事件统计将从从近期安全状况、事件统计、事件数量趋势三个角度来进行展示的。通过近期安全状况这个窗口，我们形象化地将安全状况采用天气预报中的晴雨表方式来进行直观的展示的，用晴天、多云、阴天、小雨、大雨五种不同的天气状态来代表不同的安全级别，通过这个窗口，我们可以看到业务系统网络过去一周的安全状况以及当天最新的实时未处理的告警所代表的天气预警。事件数量趋势默认是宏观展示最近一月的事件数量的分布，同时还可分析最近一周，最近一个季度，最近一年的安全事件数量分布，从而针对安全事件的发生频率进行横向的对比。事件月度统计主要从事件类型、事件发生单位两个不同的维度来反应业务系统近一个月的事件分布范围。上述多维度的事件展示，尽可能详尽的从多种视角、以多种展现形态来展示业务系统近期的安全状况。4.1.2 灵活的报警统计分析在报警展现统计中，系统分别按照报警类型和监控对象进行了报警月度统计。尤其针对报警数量趋势，可展示最近一天、一周、一月的趋势变化，当网络中发生大规模的蠕虫病毒时，通过这个趋势变化可以很快发现异常。通过报警的分布和变化趋势，也能及时反应系统的数据处理能力。4.1.3 基于地图/组织结构的监控预警soc系统实施过程中，会涉及众多分支结构、大量的业务系统、报警信息和监控节点，那么是如何将虚拟网络世界中这些杂乱无章的数据，有序的进行一一展现呢？东软neteye soc v5.0系统将通过地图或者组织结构的方式来进行有序合理的展示。首先，东软neteye soc v5.0系统在地图上对平台所涉及的责任单位或者分支机构进行了标注，点击一个责任单位时，系统会弹出窗口，来显示这个单位的详细信息。其次，我们对需要安全监控与管理的业务系统、网站等在地图上进行标注。第三，如果soc平台采用分布式部署，我们可以把所有的数据采集引擎定义为监控节点，并进行标注。上述这些基本信息的标注，都会有助于我们的技术运维人员快速的进行事件定位和系统运维。除了上述所标注的基础信息外，利用地图，我们还可以展示所有当前报警情况，采用不同的图标颜色代表不同的报警等级。同时在地图上，所有责任单位或者分支机构的近期安全态势情况，是通过晴雨表的方式来进行展现的，点击一个责任单位，还可以看到它过去三天的安全状况。4.1.4 业务系统的深度监控业务系统监控，是东软neteye soc v5.0系统中的一个重要模块。这个模块实现了针对b/s架构的业务系统，尤其是网站进行全面的监控，主要检测这些业务系统的可用性、安全性和完整性。落实到监控的具体需求点上，即为：系统是否服务中断、系统不可达，是否被挂马，是否被恶意篡改，如果是网站，是否包含一些敏感言论的关键词，从而进行相关的检索与查看。系统首先在一个窗口中集中展示整体业务系统安全情况，清晰描述被监控业务系统数量，近一个月内收到的报警数量，快照记录数量，发生的安全事件数量、各类事件分布比例。其次，系统可以将所有被监控的业务系统按照不同的类别放到了不同的窗口中，默认显示的是有问题的业务系统，并为每个业务系统建立一个24小时“健康度”体检表，绿色为正常，黄色则代表页面更改、灰色是代表不可访问、红色是代表挂马。针对业务系统篡改，我们neteye soc v5.0系统主要通过：快照浏览器对比、文本对比、源代码对比、更改报告等几种方式来综合进行分析；针对网站挂马，系统采用静态分析和动态模拟技术，能够智能跟踪最新黑客挂马技术手段，对网页中出现的多层嵌套地址也能彻底分析，一旦发现挂马，系统自动生成挂马分析报告。4.1.5 以责任单位为视角的宏观分析在东软neteye soc v5.0系统的安全监控设计中，充分考虑了用户将会采用多种维度来展示各个单位或者分支机构的安全状况。因此系统设计了温度计、仪表盘等多种展现模式来展示每个责任单位的近期安全状况，从安全事件和报警两个维度分别进行宏观统计和分析。安全事件统计考虑了按照事件类型的月度统计、事件数量趋势，最新未完成事件等几个方面。报警统计考虑了按攻击源月度统计、按攻击目标月度统计、报警数量趋势、报警级别趋势等几个方面。针对不同单位的安全状况，定期进行横向对比，以安全事件数量作为衡量指标进行月度、年度等排名。4.1.6 对重要业务系统的宏观分析除了以责任单位或者分支机构为视角进行宏观分析外，当用户的网络中有部分重要业务系统属于“重点”监控对象，需要进行独立的重点安全分析时，在东软neteye soc v5.0系统的安全监控设计中，也为此预留了相应的接口，可采用独立的界面来展示“重点”业务系统的安全状况，同样支持以安全事件和报警两个维度进行实时分析。4.2 运维管理东软neteye soc v5.0系统的运维管理功能，是面向技术运维人员所使用的，用于日常的技术分析，系统运维，具体包括如下功能：技术监控分析、系统平台运维、资产等基础信息维护、业务系统监控分析、舆情收集与分析、知识库收集与查询、事件处置与跟踪等功能。4.2.1 整体技术分析从全局角度关注安全根据soc平台的设计，技术运维人员进入运维管理首页面，肯定希望从全局角度来关注当前系统的整体安全状况，为此soc平台共设计了四类分析窗口，供运维人员从不同角度进行分析当前安全状况。第一类是当前所有报警数量按小时的趋势分布图。通过此趋势可发现报警发生频率较高的时段。高频段发生在凌晨，需要技术运维人员重点关注。第二类是各类告警数据，包括：安全报警、网站报警和性能故障报警。安全报警是指soc平台对来自所有安全设备的原始日志，归并、分析后的结果；网站报警是指对业务系统的cia（机密性、完整性和可用性）进行深度检测的结果；性能故障报警是soc平台对所有it支撑设施的关键运行指标进行实时监控后发现异常分析的结果。第三类是待处理工单，这些工单属于正在处理中状态，因为某些原因没有被关闭，需要运维人员随时关注。第四类是值班公告，根据不同的时间，会有不同的安全监控与管理工作的注意事项，这些信息会在值班公告中有所体现。4.2.2 资产管理模块保护信息资产是网络安全运维体系建设的核心目标，也是日常安全运维工作的核心环节。所有信息的存放，例如报警、事件、漏洞等都应以资产的视角来查看，因此资产管理是neteye soc平台系统的核心，是开展安全运维管理工作的基础。东软neteye soc v5.0系统的资产管理包括如下两大类：责任单位：基础信息、信息系统。监控中心：监控节点、设备管理，其中设备管理中包括：安全设备、网络设备、服务器设备等等。 责任单位管理责任单位，主要是指客户业务网络所涉及的部门、分支机构、下属单位等等，这些责任单位的信息系统是soc平台保护和监控对象，在日常安全监控与管理工作中会进行较为频繁的业务联系，因此掌握责任单位相关信息是保障日常安全监控与管理工作正常开展的基础。本平台为技术人员提供责任单位管理功能，负责将各责任单位的相关信息进行登记、更新与维护。这些信息包括具体如下内容：基本信息，包括单位名称、主管单位、地址、邮编等在内的基础信息；组织结构，描述各责任单位的人员组成、部门构成、部门上下级关系、人员联系方式等；ip地址，涉及内网区域地址、互联网区域地址、专网地址等；安全检查工作记录、应急事件上报记录等。信息系统管理主要为了实现对各责任单位所拥有的信息系统的远程跟踪，包括“外界”对信息系统的攻击、信息系统服务中断等等。soc平台在进行信息系统定义时，本平台维护的信息系统信息包括如下内容：基础信息；包括：信息系统名称、运维单位、机房位置、联系人、ip地址、网络连接方式、是否为重要信息系统、系统等级、监控节点；网站属性：系统访问地址、网站类别、运维类型；区域定义；信息系统包含的区域或者子系统；设备情况；信息系统每个区域（或者子系统）所使用的设备。需要说明每个设备的软硬件配置；测评信息；具有多个测评记录，每个测评记录包括：测评时间、测评机构、测评结果。 监控中心管理soc平台的监控中心负责实时监控各责任单位（被监控对象）的安全状况。一旦发现责任单位受到安全破坏的威胁时，soc平台能够帮助责任单位对安全破坏行为进行快速定位，及时为责任单位提供有效的应急响应和预警服务，从而减少责任单位的破坏程度及其造成的损失。监控中心按照责任单位的地理位置、单位属性等进行归类划分，配置相应的监控节点。当数据采集引擎采用分布式方式部署时，通过监控节点的概念，能够将安全数据回传的方向友好的展现出来。对于支撑soc平台正常运转的it基础实施，其信息登记、维护等工作都将放到监控中心的设备管理中，设备类型包括：网络设备、安全设备、服务器设备等等。soc平台所维护的设备信息包括：设备名称、设备编号、采购时间、厂商、ip地址、部署位置等等。4.2.3 安全报警管理与分析模块 详细的安全报警展现通过soc平台的安全报警分析功能，可以看到平台针对收集上来的原始日志，经过实时归并、分析后的结果。包括：报警名称、类型、等级、ip地址、ip对应的责任单位、聚合数量、发生时间等。soc平台针对所有的ip地址，和资产管理中的责任单位自动进行关联，在安全报警分析中实现将ip地址定位到责任单位，从而为后续的以责任单位进行宏观统计与分析提供了依据。针对关键分析项，soc平台都设计了以“快速链接”的方式提供快速搜索查询功能，技术运维人员可通过“一键点击”ip地址或者报警类型等关键项的方式，直接过滤出需要重点分析的某个ip或某类的所有报警数据。当需要进行具体分析时，可查看此报警的详细信息，包括对报警的详尽描述。如果技术运维人员需要进行深入的数据分析时，可以将原始日志从远端调入到平台。例如：查看聚合的时间周期，原始日志的对此报警的描述等。除此之外，在安全报警分析功能中，soc平台还提供了很多的辅助工具，来协助运维人员进行快速和灵活的数据分析。技术运维人员可随时根据需要选择，安全报警分析数据中，需要关注的数据项。同时在安全报警分析中，提供了实时数据统计与分析机制，运维人员可根据报警名称、类型、源ip、目的ip、监控节点、等级、时间等进行条件进行统计。 广泛的数据采集范围soc平台主要通过数据采集引擎来实现原始数据的获取。数据采集引擎负责从网络设备、安全设备、主机系统(主流主机操作系统：windowsnt/2000/xp/2003、支持主流linux系统、主流unix系统等；)、数据库系统、应用程序（主流应用程序：web、mail、dns等）、网管系统和日志服务器系统等采集数据。因为多数据源的特点，导致采集引擎获取数据资源的方式各不相同。针对标准网络设备、网管系统和日志服务器系统等，数据采集层可以通过syslog、snmp、odbc、xml等标准协议实时接收即可，但针对不同的主机系统、不同的数据库系统、不同的应用程序系统等可能需要通过telnet、ssh、ftp等方式来主动获取。无论数据采集引擎通过何种方式进行数据采集，最终所获取的数据资源体现为：结构化、半结构化和非结构化等多种形态，这就构成了一个复杂的异构数据库环境，数据采集引擎必须采用一定的异构数据集成技术，将这些孤立的数