网络环境下异构日志信息分析.ppt

网络环境下异构日志信息分析 专业 计算机应用技术学生 纪乃丹学号 S309060149指导教师 王慧强教授 主要内容 1 课题目的及意义2 国内外研究现状3 研究内容 1 研究目的及意义 随着计算机和网络技术的不断发展 互联网用户在全球正以迅猛的速度增长 入侵攻击的威胁也是人们始料不及的 保障网络和信息安全正成为商业和政府机构日益关注的焦点问题 网络环境下大量的日志数据详实地记录了系统和网络中的运行事件 通过它可以了解网络系统运行状况 诊断差错异常 分析和定位可能出现的攻击等 构建一个网络环境下日志的采集和预处理平台 为网络安全态势评估提供重要的数据支持 2 国内外研究现状2 1国外研究现状 Anderson首次提出了利用系统自身的日志信息进行安全审计的思想GFI软件公司开发的LANguardSecurityEventLogMonitor 2 2国内研究现状 中国科学院的连一峰等人利用数据挖掘中的关联分析和序列挖掘技术对日志信息处理 挖掘出用户行为的异常行为 北交大的蒋嶷川等提出综合关联分析 序列模式分析 分类分析和聚类分析4种挖掘方法 从预处理后的日志数据中提取安全规则 思科公司研发的Mars系统北京清华得实公司的NetSC日志审计系统华为公司的XLog网络日志审计系统 2 3现有研究不足 日志数据源定义模糊 没有统一标准 停留在日志数据的采集 查询 统计等功能 无法发现数据中存在的关联 关系和规则 网络安全状态的日志分析单一化 集成化研究较少 缺乏挖掘数据背后隐藏的知识的手段 导致了 数据爆炸但知识贫乏 的现象 3 研究内容 主要对日志信息的提取 预处理和分析三个部分进行了研究 3 1日志信息获取和预处理的结构框架 3 2日志数据源选取 3 3日志采集方法 文件型日志采集文件型日志是指原始日志数据以文件的方式存储于一个固定的位置 对此种日志的采集主要问题是解决对日志文件的读取 以及在透彻了解日志数据的结构之后对其进行相应的拆分 基于SYSLOG协议的日志采集支持syslog的设备将日志以网络协议的方式发送到syslog日志服务器 然后在syslog日志服务器内部进行日志的解析 3 4日志采集流程 主要做的是填补缺失数据 消除噪声数据 过滤重复数据 网络环境下的日志数据量一般都非常大 而且重复的数据很多 过大的数据量可能会降低后续的分析效率和效果 数据清洗的目的就是减少日志的数据量 过滤掉重复记录 去除噪声数据 3 日志预处理模块研究 数据约简对采集到的日志属性归约表示 减少属性 但仍接近于保持原数据的完整性 这样 在约简后的日志数据集上挖掘将更有效 并产生相同或几乎相同的分析结果 目前主要有基于专家知识的数据约简和基于粗糙集理论的数据约简方法 数据分类是从数据对象中发现共性 并将数据对象分成几种不同类的一个过程 数据分类是数据挖掘应用领域中极其广泛的重要技术之一 数据分类的方法主要有决策树分类方法和Bayes分类方法 通过格式化处理 我们就可以把网络上的多源异构日志数据转换成具有固定格式的事件序列 形成 规范 的数据 XML格式数据