【毕业学位论文】（Word原稿）网络安全管理系统的设计与实现-软件工程

硕士学位论文 （专业学位） 网络安全管理 系统的设计与实现 姓 名：张磊 学 号： 1134796 所在院系：软件学院 职业类型： 工程硕士 专业领域：软件工程 指导教师：张晨曦 教授 副 指导教师 ：许再良 二 一三 年 八 月 in 2010 2013 1134796 网络安全管理系统的设计与实现 张磊 同济大学 学位论文版权使用授权书 本人完全了解同济大学关于 收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 经指导教 师同意，本学位论文属于保密，在 年解密后适用本授权书。 指导教师签名： 学位论文作者签名： 年 月 日 年 月 日 济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。 本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日 同济大学 硕士学位论文 摘要 I 摘要 随着计算机和通信技术的发展，网络信息的安全已成为一个至关重要且急需解决的问题。计算机网络所具有的开放性、互连性和共享性等特征使网上信息安全 存在着先天不足，再加上系统软件中的安全漏洞以及所欠缺的严格管理，致使网络易受攻击 。 针对于这些问题，网络安全管理系统从 应用 层面下手， 实现对站点页面 的恶意篡改的监测，同时对网页中 木马植入 的 情况 进行检测 。 本系统首先使用网络爬虫对指定站点的内容进行定 时抓取，并保存站点镜像。再通过篡改分析模块对站点镜像内容进行分析和比对，来检测出站点的恶意篡改情况。同时根据镜像文件中的 内容特征进行木马植入匹配，用于检测站点的木马植入情况。 最后系统将实时监测的结果反馈给用户，以便及时的发现和防护站点被植入木马、恶意篡改的情况。 本 文 从 网络安全管理的 相关知识 入手 ， 逐渐深入介绍 本 系统设计所使用到的技术原理和工具。 在 设计上 为 了满足 高效、实时 监测效果， 采用 了 C/S 与 B/在算法上采用了模糊哈希算法、编辑距离等算法来提高监测的准确性。 本系统特点在于利用网络爬 虫对站点页面的恶意篡改与网页中木马植入情况的检测与分析，实现保护互联网站点 的 目的。本系统的优势在于 可以占用较低的系统资源来实现保护互联网站点的目的，可用最简单的方式实现 分布式部署 ，达到负载均衡的效果。 关键词 : 网络安全 ， 木马植入 ， 恶意篡改 ，数据库 I of a of as of in In to be to of in of To is to an on a in to of to be by in to of as is to of At is of to to as as in To an I a , to is by to a of to so as to of in a in 同济大学 硕士学位论文 摘要 硕士学位论文 目录 录 第 1章 引言 . 7 题背景 . 7 内外研究现状 . 7 课题的目的和意义 . 2 文主要研究内容 . 3 文的组织结构 . 4 第 2章 相关技术 . 5 . 5 架 . 5 架 . 7 架 . 8 络爬虫技术 . 10 络爬虫简介 . 10 虫实现技术 . 11 改监测技术 . 12 改监测简述 . 12 糊哈希算法 . 16 辑距离算法 . 17 马检测技术 . 20 页植入木马简述 . 20 . 21 章小结 . 22 第 3章 系统的需求分析 . 23 能性需求分析 . 23 . 25 . 25 统的性能 . 25 统的可扩充性及可维护性 . 26 统用例分析 . 26 测站点管理的用例分析 . 26 同济大学 硕士学位论文 目录 V 改监测结果的用例分析 . 27 马检测结果的用例分析 . 27 测结果统计的用例分析 . 28 户管理模块的用例分析 . 28 . 29 . 30 第 4章 系统的设计 . 31 统的整体架构 . 31 . 33 . 35 . 35 . 37 . 38 . 39 . 40 . 42 . 43 . 45 . 46 . 46 . 47 . 48 . 49 . 49 . 50 . 50 . 51 据库的 设计 . 52 . 52 . 53 . 58 第 5章 系统的实现 . 59 . 59 . 59 同济大学 硕士学位论文 目录 . 63 . 70 . 74 . 74 . 75 . 76 . 77 . 78 . 79 . 79 第 6章 总结与展望 . 81 致谢 . 83 参考文献 . 84 个人简历 在读期间发表的学术论文与研究成果 . 86 同济大学 硕士学位论文 目录 1 章 引言 题背景 互 联网是人类社会的重大科技发明，其发展、应用和普及引发了前所未有的变革，已经成为经济发展的重要引擎、社会运行的重要基础设施、文化建设的重要阵地、国际竞争的重要领域。 互联网带来了人与人、人与组织、人与社会之间的更多的互动，甚至每一个人都可以发布整合信息并成 为信息传播的媒体。互联网为社会的民主和进步搭建了更为宽广的平台 。随着国内互联网日益普及，网络与信息 安全管理问题不断涌现，对社会和公众带来负面影响。 目前互联网上论坛、博客、微博客等新的应用形式不断涌现，网上有害信息的传播途径越来越多，网上斗争的形势日趋严峻，加强互联网 安全监测 的任务越来越重 ，而 现有的互联网站管理系统技术模式、处理能力已明显落后于互联网的发展 。 对互联网信息内容进行有效分析、 安全的管理 , 营造绿色、健康、有序的互联网环境，净化网络不良内容，营造绿色、健康、有序的互联网环境，净化网络不良内容，提升网络服务品质 ,对 促进网络文化健康发展 这样极其重要的意义 。 内外研究现状 网页木马、恶意 篡改这种安全威胁在中国万维网上出现于 2003 年甚至更早 ， 很多国内外研究者将新的智能处理技术引入网络攻击和病毒检测中，提出了许多检测网络攻击和恶意程序的新方法，如： 1、 在 2010 年 际会议上， J E 人提出基于 法的网络入侵检测系统，给系统通过在各个 对网络活动进行分析，汇总后识别网络攻击行为，可同济大学 硕士学位论文 基于 系统 2 有效识别网络入侵。但这种方法基本可归于动态监控方法，对潜 伏 的恶意篡改，木马植入处理 仍有一定的局限性。 2、 人在 2005 年的报告中提出将数据挖掘技术用于木马文件的 检测。他们先利用数据挖掘的技术发现已知类型木马的动态特征，然后利用这些特征构造分类器来检测木马。 3、 微软研究院的 目和 人通过蜜罐技术字段分析页面，验证了恶意网站的存在，当时研究人员提出了基于客户端的蜜罐技术的检测方法。这种方法用于检测和研究客户端攻击 ,主要功能是检测恶意网页和恶意服务器。但是由于 用与真实客户端交互 的高客户端交互方式进行解析，从而需要充分的交互时间，并检测大量的系统变化状态，使得分析时间代价较大。 4、 中国科学技术大学的朱明等人提出了基于多 作实现未知木马自动识别的方法，该方法利用驻留在局域网各机器检测 网络检测 由协作 这些证据和初步判断进行融合印证并做出最终结论。该方法将 术引入木马防范领域，但仍是通过动态执行特性检测木马，对检测潜伏木马仍有一定局限性。 5、 武汉大学计算机学院的单长虹将人工智能中的启发式分析技术引入木马检 测，提出一种启发式分析的木马实时杀毒模型。这种模型既可以实现对已知木马的查杀，又可以对未知木马惊醒启发式分析，并将分析数据提交专家系统，由专家系统对其判定。 课题 的目的和意义 一个国家的信息安全体系实际上包括国家的法规和政策以及技术与市场的发展平台 。 在构建信息防卫系统时 ， 应着力发展自己独特的安全产品 ， 要想真正解决网络安全问题 ， 最终的办法就是通过发展民族的安全产业 ， 带动网络安全技术的整体提高。 信息安全是国家发展所面临的一个重要问题 ， 对于这个问题我们还没有从系统的规划上去考虑它 ， 从技术上产业上政策上 来发展它 。 政府不仅应该看见信息安全的发展是我国高科技产业的一部分 ， 而且应该看到发展安全产业的政策是信息安全保障系统的一个重要组成部分 ， 甚至应该看到它对我国未来电子 第 1章 引言 3 化信息化的发展将起到非常重要的作用。 信息安全问题已成为社会关注的焦点。特别是随着 普及和电子商务、政府上网工程的启动 。 一方面信息技术已经成为整个社会经济和企业生存发展的重要基础 ， 在国计民生和企业经营中的重要性日益凸现 ； 另一方面政府主管机构、企业和用户对信息技术的安全性、稳定性、可维护性和可发展性提出了越来越迫切的要求 。 因此 ， 从社会 发展和国家安全角度来看 ， 加大发展信息安全技术的力度已刻不容缓。 文主要 研究内容 借鉴 国内外成熟的网络安全防护技术 ，参 考一些成功 的 安全检测设计与实现的案例 ，并结合 目前国内网络现状 ，采取以实际应用为目标的设计思路进行本课题的研究。 本课题设计是 采用 言 进行开发， 采用传统的 架，使用 为 后台数据库， 服务器，实现一个 网络安全管理 系统。 本课题主要是设计和实现一个网络安全管理系统，主要研究内容包括： （ 1） 进行项目需求分析。我们将 网络安全管理 系统要实现的需求划分为功能性需求和非功能性需求。功能性需求主要包含网络爬虫，安全管理，数据统计，用户管理，系统管理等基本功能；在非功能需求中主要是考虑系统 安全性 ，性能和易用性 。 （ 2） 进行该 系统 的总体设计：根据需求分析， 网络爬虫主要实现对监测站点镜像的爬取、与网安全管理系统交互功能 等； 安全管理包括监测站点管理，篡改监测分析，木马植入分析等功能 。 数据统计，主要实现对监测数据的一个数据挖掘功能，统计分析出站点的安全情况。用户管理主要使用对用户、用户组、权限组间的配置实现系统用户权限控制。系统管理功能包含了对系统 中必须参数的配置，以及系统正常运行所需的数据管理。 （ 3） 进行该 系统 的详细设计和数据库设计。 采用 式 引入的样式、外观，我们 可以 快捷地定义自己网站的风格，使得每个页面建设不再需要编写重复的代码。在设计 对 数据 库 问时，利用 持久层框架 完整的封装了同济大学 硕士学位论文 基于 系统 4 数据的操作，而且支持业务对象，对实现多层结构的应用提供了简便的方法。 （ 4） 进行网络安全管理系统的开发工作，实现了各模块的功能，整合各模块后对系统进行集中调试与测试。 文的组织结构 本文的组织结构如下： 第 1 章 是 引言，主要 论述 了课题的背景，意义和目的，以及 网络安全管理系统的发展现状和本课题的 主要研究内容 。 第 2 章 是 相关技术，主要介绍了系统在设计和开发过程中所涉及到的方法和技术。 第 3 章 是 该 网络安全 管理系统 的需求分析， 分析了该系统功能性需求和非功能性需求。 并 给出了不同角色在各种情况下的用例图。 第 4 章 是 该 网络安全管理 系统 的设计，在本章中，我们 运用了 流程图 描述了各模块的处理逻辑和过程。并介绍了该系统所具有的角色和权限。本章还描述了该系统的 数据库 设计，并给出了数据库表和 第 5 章 是 系统的实现， 详细介绍了各模块的编程实现，给出了 界面截图以及部分代码 。 第 6 章 是 总 结与展望，主要是对 本文的工作 进行总结，并 指出 下一步的工作 。 第 2章 相关技术 5 第 2 章 相关技术 架简介 架 网络安全系统采用 架进行系统构建，它 是 件基金会（ 助的一个开源项目。它最初是 目中的一个子项目，并在 2004年 3 月成为 顶级项目。它通过采用 术，实现了基于E 用的 计模式的应用框架，是 典设计模式中的一个经典产品。 同济大学 硕士学位论文 基于 6 图 架结构图 在 ，已经由一个名为 当 控制器(角色，根据描述模型、视图、控制器对应关系的 配置文件，转发视图 (请求，组装响应数据模型（ 在 模型 （ 分，经常划分为两个主要子系统（ 系统的内部数据状态 与 改变数据状态的逻辑动作 ），这两个概念子系统分别具体对应 的 个需要继承实现超类。在这里， 以与各种标准的数据访问技术结合在一起，包括 , 视图 （ 端，除了使用标准的 外，还提供了大量的标签库使用，同时也可以与其他表现层组件技术（产品）进行整合，比 第 2章 相关技术 7 如 。通过应用 框架，最终用户可以把大部分的关注点放在自己的业务逻辑（ 映射关系的配置文件（ 。 架 在系统 框架 的 整合 上，我们 通过 架 来进行整合 ，他 说 是一个轻量级的 控制反转 （ 面向切面（ 容器 框架 。 控制反转： 过一种称作控制反转（ 技术促进了松耦合。当应用了 个对象依赖的其它对象会通过被动的方式传递进来，而不是这个对象自己创建或者查找依赖对象。你可以认为 反 不是对象从容器中查找依赖，而是容器在对象初始化时不等对象请求就主动将依赖传递给它。 面向切面： 供了面向切面编程的丰富支持，允许通过分离应用的业务逻辑与系统级服务（例如审计（ 事务 （ 理）进行内聚性的开发。应用对象只实现它们应该做的 完成业务逻辑 仅此而已。它们并不负责（甚至是意识）其它的系统级关注点，例如日志或事务支持。 容器 ： 含并管理应用对象的配置和生命周期，在这个意义上它是一种容器，你可以配置你的每个 何被创建 基于一个可配置原型（ 你的 以创建一个单独的实例或者每次需要时都生成一个新的实例 以及它们是如何相互关联的。然而， 应该被混同于传统的重量级的 器，它们经常是庞大与笨重的 ，难以使用。 框架 ： 以将简单的组件配置、组合成为复杂的应用。在 ，应用对象被声明式地组合，典型地是在一个 件里。 提供了很多基础功能（事务管理、持久化框架集成等等），将应用逻辑的开发留给了你。 同济大学 硕士学位论文 基于 8 图 架 在系统数据持久层上，采用 架来进行搭建。 一个开放源代码的对象关系映射框架，它对 行了非常轻量级的对象封装，使得序员可以随心所欲的使用对象编程思维来操纵数据库。 以应用在任何使用 场合，既可以在 客户端程序使用，也可以在 用中使用，最具革命意义的是， 以在应用 2构中取代 成数据持久化的重任。 第 2章 相关技术 9 图 要图 核心接口一共有 6 个，分别为 : 6 个核心接口在任何开发中都会 用到。通过这些 接口 ，不仅可以对持久化 对象 进行存取，还能够进行事务控制。下面对这 6 个核心接口分别加以介绍。 口 ： 口负责执行被持久化对象的 作 (任务是完成与数据库的交流，包含了很多常见的 句。 )。 但需要注意的是象是非线程安全的。同时， 同于 用中的里当使用 个术语时，其实指的是 的 以后会将 象称为用户 口 ： 口负责初始化 充当数据存储源的代理，并负责创建 象。这里用到了工厂模式。需要注意的是不是轻量级的，因为一般 情况下，一个项目通常只需要一个够，当需要操作多个数据库时，可以为每个数据库指定一个 ： 负责配置并启动 创建象。在 启动的过程中， 的实例首先同济大学 硕士学位论文 基于 10 定位映射文档位置、读取配置，然后创建 象。 1 口 ： 口负责事务相关的操作。它是可选的， 开发人员也可以设计编写自己的底层事务处理代码 口 ： 口负责执行各种数据库查询。它可以使用 句或 句两种表达方式。 络爬虫技术 络爬虫简介 网络 爬虫 即 一个很形象的名字。把 互联网 比喻成一个蜘蛛网，那么 是在网上爬来爬去的蜘蛛。 网络 爬虫 是通过网页的链接地址来寻找网页 ， 通过网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。 为了解决 集的关键问题，研究者们经过不断地研究与实践，将爬行器由最早期单纯的基于整个 爬 行器发展到可满足不同需要的多种采集技术的爬行器。归纳起来，大致可以分为以下几种类型： 第一种是基于整个 爬行器。主要是指目标为从一些种子 充到整个 爬行器，这种爬行器通常是作为门户站点搜索引擎和大型的 务提供商的数据采集部分。这类信息采集由于目标是采集整个 此对内存和硬盘等硬件的要求比较高，对采集页面的顺序要求相对较低。 第二种是增量式的爬行器。传统的爬行器根据自己的需要采集足量的信息后停止采集，当过一段时间这些数据过时后，它会重新采集一遍来代替先前的信息，称为周期性 集器。而增量式的爬行器对待就的页面采用增量式更新，即采集器在需要的时候采集新产生的或己经发生了变化的页面，而对没有变化的页面不进行采集。和周期性信息采集相比，增量式信息采集能极大地减小数据采集量，从而极大地减少了采集的时间与空间开销。但是与此同时，增量式信息采集也增加了算法的复杂性和技术难度。 第 2章 相关技术 11 第三种是基于主题的爬行器是指选择性地搜寻那些与预先定义好的主题相关的页面的爬行器。和基于整个 爬行器相比，它并不采集那些与主题无关的页面，所以大大地节省了硬件和网络资源，保存的页面也由于数量少而更新快。加之它可 以很好地满足一些特定人群对特定领域信息的需求，成为时下研究的热门重点。但它的问题也是显而易见的，例如如何定义有实际意义的主题，如何在采集时判定页面与主题的相关性以及如何提高系统的搜索精度和完全度等。 第四种是基于用户个性化的爬行器。不同的用户对一个搜索引擎提交同一个检索词，他们期待的结果是不尽相同的。而通用的搜索引擎却只能返回相同的检索结果，这显然不完全符合用户的需要。而基于用户个性化的爬行器是一种轻量级的采集系统，它的目标就是通过用户兴趣制导或与用户交互等手段来采集信息，给用户提供个性化服务。 第五种是移 动的爬行器。这种爬行器并不像其他爬行器一样在本地客户机向 点服务器发送页面请求，而是将自己上载到它所要采集的服务器中，在当地进行采集，并将采集结果压缩后，再回传到本地。这样做大量地节省了源，大量的剪裁工作将在被采集对象的服务器上完成。 第六种是基于元搜索的爬行器。它对用户的提交的查询请求通过多个领域或门户搜索引擎搜索，并将结果整合后返回给用户。一般元搜索引擎并不保存面的索引文件，但是有一些元搜索引擎会保存为它服务的每个搜索引擎的信息特征，以后根据用户请求做出选择。作为搜索引擎首要部件的 爬行器在元搜索引擎中功能有所退化，但依然是 集的一个研究方向，被称作基于元搜索的信息采集。 虫实现技术 本系统实现了简单 功能 的网络爬虫， 爬取指定站点的站内页面镜像。首先爬虫以系统提供的站点地址作为爬取的起点，解析页面中所有连接地址，首先将连接地址进行站内过滤，即爬虫只爬取同一网站下的页面，不爬取外网链接。 根据遍历算法，不断的递归提交每一个要爬取的 址，解析 虫在做页面 析时使用的是 行解析。他是 一款 直接解析某个 址、 本内容。 提供了一套非常省力的同济大学 硕士学位论文 基于 12 通过 及类似于 操作方法来取出和操作数据。 它能从 一个 件或字符串中解析 以 使用 择器来查找、取出数据 ，还可以 操作 素、属性、文本； 图 络爬虫基本流程 解析完成 后，爬虫将爬取的页面文件下载到本地，进行保存。每一个站点的镜像保存内容都包含三部分： 页面镜像： 页面爬取完成后的 件内容，已经该文件中所引用的 式文件。并对爬取的文件名进行 码加密。 成功清单： 保存所有成功获取镜像文件的文件名，以及其对应的 址。 失败清单： 保存所有因各种原因（网络异常，未找到页面，无权限访问等）未能成功获取到页面镜像的页面地址。 改 监测 技术 改监测简述 目前较为常见的篡改监测技术有 以下三种： 第 2章 相关技术 13 1)外挂轮询技术 ， 用一个网页读取和检测程序，以轮询方式读出要监控的网页，与真实网页相比较，来判断网页内容的完整性，对于被篡改的网页进行报警和恢复。 2)核心内嵌技术 ， 将篡改检测模块内嵌在 务器软件里，它在每一个网页流出时都进行完整性检查，对于篡改网页进行实时访问阻断，并予以报警和恢复。 3)事件触发技术 ， 利用操作系统的文件系统或驱动程序接口，在网页文件的被修改时进行合法性检查，对于非法操作进行报警和恢复。 下面分别对这三种监测防护技术进行分析对比： 图 术对比 外挂轮询技术：无法阻止公众访问到被篡改网页，它只能在被篡改后一段时间发现和进行恢复，因此公众有很大可能访问到被篡改网页。 事件触发技术：将安全保障建立在“网页不可能被隐秘地篡改”这种假设上，因此也没有对网页流出进行任何检查，在一些情形下（具体情形见下文），同济大学 硕士学位论文 基于 14 公众是有可能访问到被篡改网页的。 核心内嵌技术：守住 页流出的最后一道关口，因此能够完全杜绝被篡改的网页被公众访问到，真正做到万无一失。 外挂轮询技术：所监测到的动态网页是网页脚本和内容混合后的结果，而网页内容是根据访问情况时时 在变化的，外挂轮询技术又无法区分网页脚本和内容，因此无法实现对动态网页的防篡改保护。 事件触发技术：事件触发仅工作在操作系统层面上，未和 务器软件发生关联，因此无法获得用户的 求数据，对动态内容的篡改则是完全无能为力的。 核心内嵌技术：内嵌于 务器软件内部，能够完全截获用户请求数据，通过阻挡对数据库的注入式攻击来保护动态网页内容的安全。 3. 服务器负载 外挂轮询技术：由于从外部不断地和独立地扫描 务器文件，因此对务器形成相当的负载，并且扫描频度（亦即安全程度）和负载总是矛盾的。 事件触发技术：由于只在正常网页发布时进行安全检查，因此对网页访问的影响几乎为零，额外占用的服务器负载也基本上为零。 核心内嵌技术：篡改检测模块内嵌于 务器软件里， 务器软件读出网页文件后，由篡改检测模块进行水印比对，因此要占用一定 算时间。但这个计算是在内存中进行的，比起 务器软件从硬盘中读取网页文件的操作来，额外产生的负载是非常小的。 4. 带宽占用 外挂轮询技术：从外部独立检测网页，因此需要占用访问的网络带宽。 事件触发技术和核心内嵌技术：检测都在服务器本机上进行，不占用网 络带宽。 5. 绕过检测机制 外挂轮询技术：由外部主机进行，不可能绕过检测。 事件触发技术：并不能确保捕获对文件的所有方式的修改（例如直接写磁盘、直接写内核驱动程序、利用操作系统漏洞等），非常容易被专业黑客很容易绕过；而且一旦成功，它没有任何手段来察觉和恢复。它的技术特点决定了它 第 2章 相关技术 15 类似于防病毒工具（以黑防黑）而不是专门针对网站保护的系统。 核心内嵌技术：整合在 务器软件里的，对每一个网页都进行篡改检查，不可能有网页绕过检测机制。 6. 连续篡改攻击 有意进行恶意攻击的黑客可以利用其他技术的扫描间隔来进行 连续的篡改攻击，即在网页被恢复后立即重新篡改网页。 外挂轮询技术：由于重篡改过程可以利用程序自动和连续进行，并只针对一个重要网页（例如网站首页）进行，因此即使的扫描时间间隔设置得再小（例如 1 分钟），也无法阻止篡改后的网页被公众访问到。 事件触发技术：对 务器软件没有控制能力，它发现篡改后没有办法去协调 务器工作，对于大规模或精心策划的攻