日志综合分析与管理解决方案

太和中心日志集成分析和管理系统解决方法北京启明星信息技术有限公司Beijin venus information tech.inc2008年10月类型平台类系列解决方案(THS)中的日志综合分析和管理系统解决方案列表1文档管理11.1文档信息11.2部署控制11.3版本控制12日志管理状态和挑战22.1日志管理状态22.2挑战23日志分析和管理要求34方案设计34.1设计原则34.2体系结构44.3系统概述44.4方案实施功能54.4.1日志数据源64.4.2集中日志收集74.4.3日志资料档案库104.4.4监视预警114.4.5基于日志的审计114.5计划功能124.5.1支持大型数据存储124.5.2各种报告124.5.3丰富的分析功能134.5.4支持通用日志收集134.5.5灵活扩展新设备134.5.6日志每日维护134.5.7资产管理134.5.8用户管理134.5.9系统管理l145实施和部署146计划效果15I1文档管理1.1关于文档文档名称面向THS(typing platform class series solution)的日志综合分析和管理系统解决方案保密级别秘密文件编号V1.0制片人制作日期2008年10月22日再审者再审一号服务范围1.2部署控制编号读者文档权限与文档的主要关系1泰国平台管理部读、写文件作者2太和中心审查文档审阅者1.3版本控制时间版本说明治病救人2日志管理状态和挑战2.1日志管理状态目前，大多数企业(尤其是大型企业和组织)对异构大容量日志数据的管理方式不好，往往会导致以下结果：日志收集效率低未完全捕获，数据格式不统一，缺乏标准化的技术手段。人员要求高系统管理员面临的日志信息中的第一个问题是，如此巨大的任务很难手动完成。另外，系统管理员必须能够理解日志信息的含义，对管理员的要求也不容小觑。各自的战争，缺乏关联性不同的系统管理员管理不同的信息系统可能会出现不同的情况，但是事故之前的一系列事件之间存在着紧密的联系，这两者之间的矛盾使事故难以处理。人力投入高，处理效果不好大量的日志数据需要由系统管理员手动维护和管理，因此需要较长的分析时间，在关键时刻很难发现问题。2.2挑战大型企业的网络规模大，系统复杂，包括各种网络设备、服务器、工作站、业务系统等。安全领域也逐渐发展到了复杂而多样的子领域，如访问控制、入侵检测、身份验证等。这些安全子系统通常独立于每个业务系统而构建，随着大型安全设施的发展，管理成本急剧增加，同时这些安全基础结构产品及其生成的日志信息的管理也成为一个日益突出的问题。关于批量日志企业中存在的各种IT设备提供了大量安全信息，特别是入侵检测系统、防火墙、漏洞扫描系统等安全系统。这种大量的信息使管理员们有些重要，但很容易忽略少量警告。庞大的日志信息是现代企业安全管理和审计面临的主要挑战之一。孤立的安全信息相对独立的IT设备生成相对孤立的日志信息。企业缺乏智能关联方法，分析了多个日志信息之间的关联，揭示了安全信息的本质。例如，哪些安全事件是实际的安全事件，它们是否真正影响业务系统的运行等。缺少标准数据格式另一种日志管理故障是计算机、防火墙、路由器、交换机、服务器和其他设备都具有分别记录事件的格式，并且可能因同一制造商的服务器而异。Windows服务器具有大型用户基础，可提供多种不同格式的日志数据。3日志分析和管理要求通过日志分析和管理(以下简称“系统”)的当前情况和挑战，不难获得日志分析管理的要求。集中管理批量日志数据。标准化日志管理格式。预警、事件监视和事后分析。制定统一的原木产业标准。日志生命周期管理。符合政策、法规的规范要求。4-程序设计4.1设计原则为了确保系统的有效运行，必须按照以下原则设计系统：开放性。日志分析和管理系统应参考各种相关的国际标准和安全标准。可扩展性。日志分析和管理系统具有高可扩展性，以便以后添加其他系统功能。安全性。日志分析和管理系统处理客户的重要信息，旨在充分考虑分析和管理的数据的机密性、可用性和完整性要求。4.2体系结构图1体系结构图4.3系统概述系统监视和聚合信息系统的系统安全事件、用户访问行为、系统操作日志、系统操作状态等各种信息，进行标准化、过滤、集成和警报分析等处理，然后保留原始日志信息和日志格式，将分析后取证与丰富的日志分析集成显示功能结合起来，对信息系统的整体安全状态进行综合管理。系统包括LAN、wan和internet上各种系统、应用程序和设备的安全事件、用户行为、系统状态的实时收集、实时分析、异常警报、集中式存储和事务监控、后分析、各种网络设备、安全设备、操作系统、web服务、中间件、数据库和其他应用程序的全面的基于日志的安全4.4方案实施功能实现方案的功能是，用一句话概括日志的生命周期管理。日志分析和管理系统实施完整的生命周期管理，包括原始日志生成、原始日志收集(日志收集中心)、日志集成分析处理和存储(集成分析和统一存储)，以及最后一个基于日志的管理和审核(集成显示中心)。日志信息及其处理、统计结果可以用图形、折线等丰富的表示形式来表示。为了便于管理员集中管理，系统提供了自己的管理模块，以便于管理用户、管理的设备和权限、自我状态监控等。图2日志生命周期4.4.1日志数据源系统收集的数据源自网络系统中已部署的现有网络安全系统、主机系统和网络系统。防火墙/UTM、入侵检测系统、防病毒系统、网络审计系统、漏洞扫描系统、网络交换机、路由器、主机/服务器、数据库、应用程序服务器等。上述日志数据源具有不同的日志格式，如下图所示。图3日志数据源格式4.4.2集中收集日志系统通过多种收集方法收集不同类型的数据源，其中包括：1、SYSLOG方法、支持Syslog协议的设备(例如防火墙、UNIX服务器等)、2，ODBC/JDBC方法，数据库连接设备支持(例如，扫描星形镜像漏洞)3、SNMP Trap方法、支持SNMP协议的设备(例如交换机、路由器、火星入侵检测等) :4、XML方式、支持HTTP协议的设备(如Nessus漏洞扫描系统) :5、事件日志方法，支持Windows平台；6、特定接口方式，对于不支持公用协议的设备，需要进行自定义开发，如浇口隔离系统。7、Venus Interface Protocol(pvi)方法(例如新星公司的天空入侵检测系统)。收集日志后，将日志范式转换为集成日志格式。。收集网络设备信息系统当前使用Syslog协议收集主流网络交换机(如CISCO和华为)、路由器的日志信息，通过SNMP协议收集这些网络设备的状态信息。以同样的方式快速提供对用户现有3Com、north power network设备的支持。在实施过程中，您只需将Syslog服务代理部署到系统的信息管理服务器或收集器中，并在审计的网络设备上指定Syslog服务代理的位置，即可收集网络设备的日志信息。收集安全设备信息系统可以使用Syslog、SNMP Trap等协议收集关键安全设备的安全日志和安全事件警报信息，并通过与第三方供应商的通信和合作支持更多安全设备。您目前可以支持的安全设备类型包括防火墙、入侵检测、漏洞扫描、防病毒、网络审核、主机监控和审核。实施过程中，您可以在系统的信息管理服务器或集合器中部署Syslog/SNMP服务代理，在审计的安全设备上指定Syslog服务代理的位置，或者在审计的安全设备上设置SNMP Trap，然后指定SNMP服务代理的位置，从而收集有关安全设备的日志信息。某些安全系统的日志作为数据库或文件存储在本地管理服务器上，对于这些安全系统，可以使用数据库ODBC/JDBC方法、文件读取方法收集相应的日志信息。在这种情况下，必须与相关安全系统供应商联系以获得支持。收集操作系统日志系统通过指定NT事件日志(即在Windows计算机上安装公用代理，在公用代理上指定允许Windows日志的Syslog服务代理的IP地址)或WMI(指定直接在Windows计算机上接受Windows日志的Syslog服务代理的IP地址)收集Windows系列操作系统的日志信息，而无需安装一般代理修改系统文件和文件属性想猜测密码登录成功，登录失败关键应用程序系统文件更改添加和更改用户属性启动和关闭系统使用用户时的用户标识符登录时间(包括系统用户的上次登录)，注销时间事件发生的日期和时间事件内容或任务结果与本地网络上的LDAP目录服务结合使用，可以将日志中的用户帐户信息与LDAP目录服务中的用户名匹配，以便于确定未来的责任。。收集数据库日志主要数据库(如Oracle、MS SQL Server、DB2、Informix、Sybase等)的活动和数据库本身的日志是使用专用代理Syslog收集的。包括：用户登录查看数据修改数据删除数据修改配置特定表格的动作超级管理员与数据库的连接启动和停止数据库与专用数据库系统的开发机构进行通信和合作，以支持您自己的数据库系统。收集应用程序系统日志系统使用专用代理Syslog或SNMP收集以下应用程序的日志信息：MicrosoftIIS 5.0/6.0MicrosoftFTPBEAWebLogic(SNMP)MicrosoftSQL ServerOracleOracle数据库IBMDomino此外，通过与以下应用程序系统开发供应商和机构的沟通和合作，为用户使用的其他应用程序系统提供定制开发支持：网络管理系统：OPEN VIEW、CISCO WORKS等；备份系统：HP、IBM、EMC、VERITAS等企业产品；应用系统：包括AVIDM、OA、人力资源系统、质量管理系统、物流供应链系统、门户系统和集成业务平台等(包括未来将添加的其他应用系统)。存储系统：SAN、NAS等4.4.3日志资料档案库支持多种存储方法(包括收集的数据的统一存储和归档、企业数据库Oracle、SQLServer支持、大容量数据存储支持、磁盘柜、NAS、SAN等)，因此易于扩展和统一查询搜索。4.4.4监视预警实时监视网络安全事件状态的事件监视是实时了解整个网络安全威胁状态的重要手段之一。事件监视模块监控网络中的单个网络设备、主机系统等日志信息、安全产品的安全事件日志信息等，及时发现正在发生的安全事件，通过响应管理模块确保网络和业务系统的安全可靠运行，并将结果实时输入到全面的分析决策支持和警报平台中。1、提供直观的安全事件趋势分析2、详细的安全事件实时监控4.4.5基于日志的审计基于日志的审计主要反映在以下方面：1、检索日志中的联合查询。支持多种条件(如关键字、基于时间、源地址、目标地址、源端口、目标端口和设备类型)的组合查询，从而快速生成所需结果。2、灵活多样的日志报告。您可以根据“实时联机报告”和“包括非实时脱机报告”操作员职责单独生成报告。根据管理的设备，可以生成报告。您可以生成与审计事件的严重性等相关的TOP10报告。报告输出格式可以转换为多种常用的标准格式，例如pdf、PDF和html。支持自定义报告内容，允许用户通过管理界面自定义报告内容或格式。这些报告可以显示为图形输出或打印。4.5计划功能4.5.1支持大型数据存储大容量数据存储支持您可以指定要收集的日志数据的筛选标准，这样，通过丢弃不需要的数据并集中在感兴趣的日志上，您还可以减少日志数据库的存储压力，同时减少网络流量。您可以根据需要设置存储策略。Windows平台上的EventLog支持、Microsoft的IIS/FTP/NNTP/SMTP日志、Unix平台上的操作系统登录日志支持、单个用户的sh