基于渗透测试的分布式跨站漏洞挖掘系统的设计与实现.doc

西安电子科技大学硕士学位论文基于渗透测试的分布式跨站漏洞挖掘系统的设计与实现姓名：杨洁申请学位级别：硕士专业：电子与通信工程指导教师：李晖；项旭201201 随着计算机技术和网络技术的高速发展，经成为保障互联网安全的迫切需求，也是当前网络安全研究的热点。本文以贸绦蛑械腦 漏洞为研究对象，结合渗理论，并详细剖析了跨站漏洞的产生原因、相关原理、危害、避免方式以及检测方法；的检测技术，对可疑点进行注入测试；关键词：跨站漏洞踩捶植际较低惩缗莱鍳 琣瑆，琱 瓵：瑃；，； 第一章绪论工作方式都得到了极大地改变，尤其是近几十年来，随着互联网技术日新月异的然而，在丰富而精彩的网络世界里，也潜藏着一道道危险的暗流。各种各样的安全问题成为我们关注的焦点。据调查统计显示，基于互联网应用程序的攻击已成为目前所有恶意攻击者的 基于渗透测试的分布式跨站漏洞检测系统的设计与实现为重要，如不加以防护，一旦被入侵，将会造成巨大的经济损失、泄露国家机密年上半年我国网络安全事件类型统计网络应用程序，它是指用户界面驻留在榔髦械娜魏斡贸绦颉捎谒赪运行，属于典型的浏览器和服的。种安全漏洞的产生提供了更为便利的温床。近年来不断涌现出新的攻击模式，使 第一章绪论络应急技术处理协调中心凇禖菴上半年网络安全工作报告中所统计的数据缤显示来看，网络仿冒事件、网页恶意代码事序的安全也不容乐观。高居第二位，二毒誊。一。戮一；弧粅譬。；：；、 基于渗透测试的分布式跨站漏洞检测系统的设计与实现根据年赛门铁克公司的威胁报道，仅年，就有多于鐾颈恢荡嬖赬年，一位叫的没源戳艘恢諼蠕虫；图 攻击可以轻易地盗取用户的信息、会话标识等，进而攻击者利用盗取的信息、伪装成用户执行越权操作，尤其对于电子商务网站的支付页面，该漏洞甚至会造成非法转账等非常严重的恶劣后果。此外，跨站脚本漏洞还能够引起挂马、拒绝服务式攻击、破坏页面显示以及蠕虫攻击等等。这些攻击对电子商务网站和社交网站的影响巨大。基于以上事实我们得出以下结论：互联网上最严重的安全隐患之一，这些安全漏洞这极大地影响了互联网的安全性 基于渗透测试的分布式跨站漏洞检测系统的设计与实现了一些成熟的安全测试工具，如公司的低常珹、公司的商业化工具但由于安全产品特殊的应用需求，以及各个组织工具自身的技术与安全防护要防御方法的基础之上，采用分布式系统的概念，利用开源的分布式任务分发框 相关知识背景，综合分析了现有的常见的九种安全漏洞的产生原理、触发机制、括其类型、技术原理、防御机制以及挖掘方法。第三章介绍了网络爬虫技术、渗透测试以及有关分布式任务分发架构关的爬虫策略，接着介绍了有关渗透测试的基本知识、步骤、常用方法和策略等，本章是本篇论文的核心部分。第六章进行了全文工作的总结以及下一步工作的展望。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现 应用的统称，它是网络运用的新时代，因为每位用户的参与而产生个人化的内容，”中第一次使用了这个词汇，但现在我们所认为的年的文章”孀攀屎纤募际醪欢细镄拢笈鶺公司如雨后春笋般涌现，这也所以，研究驴缯韭吹姆烙贝覹的技术特点入手。设计究目的和主要内容。且淮未雍诵哪谌莸酵獠坑玫母锩挥蒞单纯通过网络浏览网模式的发展已经成为互联网新的发展趋势。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现“皇且桓黾际醯谋曜迹蛭猈仅是一个用来阐述技术转变共同合作的脑力激荡会议上提出来的；岢隽薟目前正处于复兴时蚴荳；荳蚆在年场白疪虰芙崃怂侨衔5哪芄槐硐諻应用特色的一些关键原则：丰富的用户体验；、 隬甇的比较年魄后襂览器或桌面软件信息传播目的满是尽可能多的用户的共同需求满足尽可能多的用户的个性需求篇或记录信息交互方式信息组织方式他组织创业基础成本与门槛较高成本低，融资额度与规模加大隬的比较喽杂赪甇的新特点，主要包括以下几个方面：网站的内容通常是用户发布的，使得用户既是网站内容的浏览者也是网站内容的将传统网站中的信息分类工作直接交给用户来完成。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现友好。的革命。栏，成为网络内容产生源，进而形成微媒体，为网络提供文字、图片、声音或视 ：是一个众人协作的平台，方便写百科全书、词典等；参与评论与评分：化，机制为更多网络用户提供了参与网络建设的机制，无需进行内容贡献或集地理信息系统和甃和的可运行的应用程序。技术的发展使得万维网成为个多领域的平台，不但用于 基于渗透测试的分布式跨站漏洞检测系统的设计与实现序几乎无所不在【刀。能的通信都是使用进行通信的，而它的结果通常采用的格式，输入显示了整个贸绦虻募芄梗琖应用程序可划分为几层，通常包括数应用程序的显示结构、业务逻辑、指定用到的协议、编程语言和标记语言等等；卜叫异式语言鲁丑表示层数据层应用层图技术： 统一资源定位符瑃魑1晔禬资源的唯理如图所示：客户端榔超文本标记语言 基于渗透测试的分布式跨站漏洞检测系统的设计与实现韵蠓鸵觳角肭蟆畛跷猉韵筇峁榔髦值氖俏砉荆笔苯鱿抻贛：对已载入的页面动态更新， 互联网的安全问题 全威胁可以表现在许多的方面，如：目的在于引起一些应用程序设计者无法预料或者不希望出现的事件，通常这些事件包括：的购买该商品； 基于渗透测试的分布式跨站漏洞检测系统的设计与实现很好的防御安全威胁。归纳来说，主要包括以下几方面的因素：燮缘募蚧菏褂玫鼻暗腤应用程序和开发工具，使得一个新手的程临很多新的未知的安全问题：试从胧奔涞南拗疲河捎诙懒淮涡钥7挠跋欤芏郬应用程序在开发的时间和资源的使用上受到了很大的限制，通常，设计开发团队不可能雇佣专职的安全专家，由于项目的拖延，往往在项目的后期才进行安全测试，并且测试时间较短，在上述这些问题的限制下，往往会忽略很多相对不是很明显的安全威胁，留下严重的安全隐患； 技术，用以满足新的需求，这样的做法会使安全漏洞与无法预料的负面影响层出不穷。踩慈缦滤尽，】：甔攻击缯窘疟竟：通常是普遍存在的，在任意一个枚加锌赡芊桓霾痪橹挠没淙刖涂梢缘贾耎攻击； 基于渗透测试的分布式跨站漏洞检测系统的设计与实现重写页面内容进行挂马。鱿趾螅珹蚣艽罅坑茫琗漏洞正的攻击，还是成千上万个用户同时访问的请求【； 目前安全漏洞的挖掘技术以及测试方法有很多种，本文主要介绍安全漏洞的灰盒测试主要是指，在测试工程中既结合了白盒测试，又结合了黑盒测试的一种测试方法。来寻找安全漏洞，其过程一般是在一些工具帮助下进行的分析过程。渗透测试发现技术，对目标系统的安全做深入的探测，发现系统最脆弱的环节；渗透测试 基于渗透测试的分布式跨站漏洞检测系统的设计与实现需要尽可能发现多的目标；踩牒骹：在一次成功的攻击之后，为了以后再次进入和控制目标主机，一般要放置一些后门程序；由于网络主机系统经常升级，一些原来被利用突破系统的漏洞在统升级以后就可能被修补，而后门程序就可以不依赖于原来用于突破的漏洞，具有长期稳定的控制能力；后门可能是一个隐藏的管理员账号、一个具有超级权的服务进程、有时甚至是一个故意置入的系统漏洞。好的后门程序在保证最高的系统权限的同时，必须不易被目标用户察觉；许多木马程序、远程控制程序都可以作为后门程序植入，最新的一些后门采取可卸载内核模块的办法，动态地修改系统内核，一般情况下无法检测出来；功能强大的后门程序，可以利用被控主机运行扫描、嗅探等技术，用于突破整个网络； ，但语言中的愕奖相混淆，通常把跨站脚本攻击缩写 基于渗透测试的分布式跨站漏洞检测系统的设计与实现的访问敏感数据，其它一些类似的、用于防止用户被恶意站点侵害的漏洞越过访问控制，从而进行攻击。并且，最近这种类型的漏洞被用来编写危害下面举个简单的例子，如图所示。 用户可信网站服务器没慊鞫褚饬唇樱皇瓾哺求被发送吴图跨站漏洞原理不恿图当用户可能要访问一个恶意网站，如甔，将会加载链接痟海痺。痗甤痵，用户自己的浏览器中，并在畉的上下文中被执行，当这个被执行 基于渗透测试的分布式跨站漏洞检测系统的设计与实现调用参数，进一步发送到恶意网站中，然后该就会被保存下来，从而恶意下面用图示说明跨站漏洞，我们在本地搭建一个肪常沧皐贒盘，然后在海躻躻这个文件夹里新建一个胣编辑如露喝，匿互互互互亟三互王互至至互二收藏夹遗黨海甇痶畃岫图欢迎界面我们可以看出，皇鞘褂肬中的参数，返回给浏览者一个欢迎的页面，而没有做其他的处理，这个页面实际上就存在一个跨站脚本漏洞。如图被攻击的跨站漏洞示例 并且所提交的内容可以成为网页内容的一部分；的内容可以被用户的浏览器执行； 基于渗透测试的分布式跨站漏洞检测系统的设计与实现本节我们将对跨站攻击的主要攻击类型和危害进行介绍。瓷湫蚗 燮芎朔梦矢昧唇樱坏牵贒的钟肫渌街諼 发现恼镜惆蟹瓷湫缘腦漏洞；在登录到恼镜愫螅繫提供的也；度氲経中的恶意脚本在匿榔髦兄葱校拖袼苯永醋訠完全不知情的情况下将这些信息发送到腤站点。发布一个热点信息，并被其它用户纷纷阅读；诖罅空镜阌没源诵畔匿乐校镜阌没幕峄癈或者其它证书发送一个恶意趁娴腢给通过电子邮件或者其它方 基于渗透测试的分布式跨站漏洞检测系统的设计与实现砐防御多采用特征匹配方式，在所有提交的信息中都进行匹配击。这种检测方法的缺陷显而易见：黑客可以通过插入字符或完全编码的方式躲 在篴疿弧；在中加入字符，得到颌鯣：弧；南【南【貆期字符的内容提交，对其他的一律过滤。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现步骤迪諷标记系统或者引用头检查，以防功能被第三方网站所执行。的。本章小结 第三章网络爬虫以及分布式系统介绍网络爬虫技术网络爬虫是搜集互联网上信息的计算机程序，也是搜索引擎的关键部分，伴随着搜索引擎的飞速发展，越来越多的网络爬虫被开发或使用，主要用于收集网页。事实上，网络爬虫也是许多网络服务的重要组成部分，例如，比较性的购物引擎可利用网络爬虫技术，从在线的各大卖方收集相关产品以及价格信息；又如，网络爬虫来搜集并且记录互联网的历史；再如，网络监控服务可以通过爬虫来搜刮同络爬虫目卜冈页库检索靖图搜索引擎的物理结构示意图 基于渗透测试的分布式跨站漏洞检测系统的设计与实现图网络爬虫工作流程图通用网络爬虫系统主要包含以下几个模块【，： 统在这个模块设计时都非常重视多线程、异步以及超时设置等技术细节；由于通用网络爬虫在使用过程中出现了较多的问题，并且伴随着专业领域搜索的需求，聚焦网络爬虫逐渐成为网络爬虫技术研究的热点和前沿。聚焦网络爬虫跟通用网络爬虫的关键区别就在于：它增加了页面内容分析以及链接分析功能通过这个功能可以确保下载的页面跟设定的主题具有一定的相关度，从而将质量不高的页面和链接过滤。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现网络爬虫一般有三种策略：深度优先，广度优先和最佳优先搜索策略。深度优先搜索，它是一种在早期开发爬虫使用较多的方法。它的主要目的是要达到被搜索结构的叶结点茨切话魏纬唇拥腍募；在一个文件中，当一个超级链接被选择后，被链接的文件将执行深度优先搜索，即在搜索其余的超链接结果之前必须先完整地搜索单独的一条链；深度优先搜索沿着文件上的超级链接走到不能再深入为止，然后返回到某一个文件，再继续选择该文件中的其他超链；当不再有其它超链接可选性的概率很大。 第三章网络爬虫以及分布式系统介绍的概述工作。它可以将一个个任务分发给其他的物理机器或者进程，以达到工作的并行畉来各种各样语言版本的和也都逐一被贡献。目前使用广泛：比如：，琘：， 基于渗透测试的分布式跨站漏洞检测系统的设计与实现乙图蚣苤幸还灿腥鼋巧篊。提交任务的角色。创建需要被执行的缓蠓透鳭。申请任：务并执行。：类似于慕巧邮誄峤坏腏，分发给相应的畆瓺 猧畆、蝗谶怠一 第三章网络爬虫以及分布式系统介绍的包都含有响应，它的一个简单模型可以这样表示：籟籌即后台执行的以及成功接收，并返煊螅珻投峡S隞 之间的链接了。后续无如果我们希望不通过额外的方法，仅使用偷玫絡的执行结果，端的链接都是保持着的，这也给瓿珊螅琂返回执行结果给提供蟛欧模琂 基于渗透测试的分布式跨站漏洞检测系统的设计与实现集群即可。新加入的不会对现有系统】 图新的派发当中。此担峤恢蟮囊斐际强芍5模珻丝梢粤榛畹囟詊间是不共享摹蛭狫只有在启动时才会持久恢闭诵校敲碕椿氨惶峤坏絁 第三章网络爬虫以及分布式系统介绍语言的问题。比如，可以用妆嘈匆桓鰌肅、或其他任何支到的结构。很多配置能够运行多个代理，并将分配到许多机器上。负载樯埽琘在或更多的服务器上使用刻齑万个作业。新闻聚合器也已构建了一个相同本章小结 基于渗透测试的分布式跨站漏洞检测系统的设计与实现 第四章系统的设计与实现跨站漏洞挖掘系统，以适应不同网站的特殊性；最后，由于跨站漏洞攻击的特殊本章将详细介绍基于渗透测试的分布式跨站漏洞挖掘系统的设计与实现，包实现互联网跨站漏洞的挖掘也做了详细的介绍和说明。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现系统整体设计漏洞也是不同，如果利用统一的安全检测的测试用例，对不同网站实施安全检测， 第四章系统的设计与实现在实现了跨站漏洞检测的自动化复用度提高，并且针对专门网站的跨站漏洞特定检测的基础上，我们仍然需要解决的一个问题是：由于爬虫模块需要爬取所内容，并针对当前已知的网络攻击方式，利用已知的请求参数，构造针对各个网虫模块所提取出来的测试站点的氩馐阅？橹械腦攻击测试语句库相用例对相同类型腦漏洞检测，以实现测试用例的复用，可以提高测试用例自动化复用度，从而，巧妙地解决了测试用例自动化复用度不高的问题：同时，我们采用植际较低车乃枷耄丛拥娜挝窠桓鳭去分派，利用来执行，这样就大大提高了检测效率，所以，我们为了解决以上三个重点需求，设计出了一种基于渗透测试的分布式跨站漏洞脚本攻击检测系统，系统的整体设计将在下一节讲述。所示， 基于渗透测试的分布式跨站漏洞检测系统的设计与实现统计报告模块图系统网络部署逻辑示意图部分，以及 图分布式跨站漏洞的系统结构图 基于渗透测试的分布式跨站漏洞检测系统的设计与实现考虑到语言对于请求可以很好的构造，所以我们采用来进后，对其各个部分分别进行设计与实现，本部分是本论文主要工作之一，。的设计与实现模块的设计思路是先完成爬虫模块的任务，然后再执行测试模块的任沧癎 的设计与实现是请求的调度者，主要是用来负责协调把有特定的开源包，所以我们在锄的安装后只要启动即可，启动的设计与实现 基于渗透测试的分布式跨站漏洞检测系统的设计与实现爬虫模块的设计与实现详细说明这两个模块的设计思想。莱媾廊？橐仓饕0糠郑欠直鹗荊 的管理，另一个是实现其具体的爬虫过程，所以爬虫模块的主要功能可以概述如下：对于每个部分的结构分别在下面进行详细说明能，各个部分的具体功能如下所示：捍瞬糠种饕2捎肏的结构，采用以猭 基于渗透测试的分布式跨站漏洞检测系统的设计与实现图好准备，莱媾廊？橐仓饕0糠郑孛欠直鹗荊捍瞬糠执覷中取出募锹迹覷捍瞬糠种饕肎龅男畔蛳嘤腤测试站点发送请求，并获取响应的网页； 第四章系统的设计与实现程图爬虫爬取模块的主要结构取模块这两个部分分别介绍其实现。下几个步骤： 基于渗透测试的分布式跨站漏洞检测系统的设计与实现图步骤翰檠疷越氲腢进行判断，是否已经存在，如 第四章系统的设计与实现当中，为后面的测试模块提供服务，从而退出；块提供服务；图爬虫爬取模块具体工作流程爬虫爬取模块主要包括：站点的扫描象，甚至还会存在一些所有的页面都不可链接到的孤立节点，比如说后台管理员 基于渗透测试的分布式跨站漏洞检测系统的设计与实现图获取相应的趁嫘畔簿褪荳。在处理孤立节点时，采用经验测试的方法，试着对產、產、產、產、產、甿產等进行扫描，利用这个可以对隐藏的孤立点进行尝试测试：从字典中取出一条相应的记录，利用扫描的目标网站的刂罚乖煲惶跣碌腢链接，使用构 的所有记录取完为止。与煌贖校员昵的使用，并没有严格的要求，这为解析网页的工作带来了很多困难。一个好的解析器，需要适应各种不匹配的情况；传统的方法是在返回的字符串中查找标签，利用确定性的提取测试模块所需要的信息。测试模块的设计与实现应包中检查相关的字段，看攻击是否实现。 基于渗透测试的分布式跨站漏洞检测系统的设计与实现？橹饕S蒟要结构如图荆馐阅？榈母鞑糠值闹饕9苋缦隆】：焊貌糠种饕M瓿啥钥梢傻愕氖欠翊嬖赬漏洞的判断工作；模块：该部分主要用于存储测试的数据。是否为空，为空，则转步骤环强眨蜃2街； 第四章系统的设计与实现中取出一条注入点的纪录， 基于渗透测试的分布式跨站漏洞检测系统的设计与实现图 第四章系统的设计与实现统计报告模块的设计与实现息，下面我们将进行详细说明。相应链接，使得漏洞快速重现。漏洞详情以及漏洞产生的具体的蚒。风险等级：，警攀缫攀紫缫上娃毫议：叠一任秀详吲富患：共有，条记录州佻甝畃翻讯槁仿鸧匝堕蔓墼妇 基于渗透测试的分布式跨站漏洞检测系统的设计与实现其中日志模块包括毕荼、本章小结 第五章系统的测试与分析第五章系统的测试与分析系统的测试，结合跨站漏洞的挖掘脚本，利用正则表达式对在返回包中检测跨站漏洞的关键字，查看是否存在跨站漏洞。被测试网站的操作系统为，服务器的荘，狿，内存为 基于渗透测试的分布式跨站漏洞检测系统的设计与实现体测试过程如图所示。图测试客户端展示翟一一。匚砥辤：匿遁匦。主要垦塑坠舅匦噩至蒼啪!觥狪涮。划扪帅，污薸一叫。划吣门中，咄叫矾帕叽鹕臼开教避口图测试过程展示 翻黼豳豳豳翻鳓嘲妒嘞妻貉谨熟糍嘲隰漠旁：最碗溶鷑；黧耱戮覆克震黧酬膋翩力删“一匝瑟蚪删翠丁瘛!瘛癜概危瑄曲础嘲州翁鲋謕舻酽图测试结果报告日：，；鼍露置：画凰譬溃洹!瘛觥猵瓜