(信号与信息处理专业论文)云计算中的深度包检测技术研究.pdf_第1页
(信号与信息处理专业论文)云计算中的深度包检测技术研究.pdf_第2页
(信号与信息处理专业论文)云计算中的深度包检测技术研究.pdf_第3页
(信号与信息处理专业论文)云计算中的深度包检测技术研究.pdf_第4页
(信号与信息处理专业论文)云计算中的深度包检测技术研究.pdf_第5页
已阅读5页,还剩49页未读, 继续免费阅读

(信号与信息处理专业论文)云计算中的深度包检测技术研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ii 摘摘 要要 云计算近三年来逐渐成为企业界和学术界的研究热点。通过资源整合技术 和多层次虚拟化技术,云计算将大规模计算资源以服务的形式提供给用户,具 有良好的可用性与易扩展性,并大大节省了资源。迄今为止,各 it 商业巨头纷 纷开展云计算平台的研究与应用,但云计算技术还不够成熟,没有被广泛采用。 作为大型的公共数据存储平台,云计算的安全性成为大多数企业客户的关 注热点。除了传统的加密等被动安全策略以外,十分有必要对云平台中的数据 流进行实时主动地监控、检测和防御,以确保数据与平台的安全。深度包检测 技术是实现主动检测与防御的最有效机制之一,但现有研究大多针对空间性能 进行优化,没有考虑云计算环境对并发速度和稳定性的要求,也无法适应云计 算平台的分布式、用户可配置性等特点,因此无法照搬至云计算平台。 通过广泛调研,本文主要从深度包检测技术的算法原理和实现框架两方面 入手,针对云计算平台的要求与特点,研究如何将深度包检测技术引入云计算 平台,并探索新的方式使之适用于云计算。本文的主要研究工作和创新点如下: 1. 归纳分析了云计算的发展现状与特点、云计算的安全需求与研究进展, 总结了现阶段深度包检测机制的研究内容与成果,指出深度包检测机制应用于 云计算的重要性和面临的问题。 2提出了一种新颖的异步并行深度包检测机制 apfa。通过分析状态爆炸 的起因和现有算法应对措施的不足之处,apfa 利用多核平台的并行优势,引 入了异步并行机制和启发式预测机制,有效地解决了状态爆炸问题和语义攻击 问题。实验结果表明 apfa 与 xfa 相比,在人工恶意流环境下,空间平均减少 了 82.5%,时间平均节省了 67.1%;在实际因特网数据流环境下,空间平均减 少了 64.8%,时间平均节省了 35%。 3提出了一种深度包检测的智能云协作框架。根据云计算平台的分布性和 用户可配置性等特点,本文提出了一种深度包检测智能云协作框架,其根据云 后台硬件资源的异构性来智能地协调配置,并协作均衡处理和防御重复攻击, 提高了整体效率。在虚拟云计算平台上与传统框架进行比较分析,实验结果表 明了云协作框架的有效性和在时间、空间上的性能优势。 关键词:关键词:云计算 深度包检测 异步并行 分布式 云协作 abstract iii abstract cloud computing is a hot topic both in industry and academia currently. using resource integration and multilevel visualization technology, it efficiently provides users with large-scale computing resource as a service, which also has high availability, easy scalability and significant cost savings. though cloud computing platforms are commonly developed and studied by it enterprises, technology of cloud computing is still not mature enough to be widely applied in practice. the security issue of cloud computing is a main concern of most enterprise customers. apart from traditional security strategy like encryption, it is also necessary to actively monitor and detect data streams in the platform. as one of the most efficient strategies for active detection and protection, most dpi researches are mainly concerned about optimizations in the performance over space, while cloud computing demands more for concurrent speed and stability. what is more, they did not consider distributed computing and user configurability in cloud. therefore, more work should be done in order to use dpi in cloud computing. based on broad literature review, we examine both the algorithm of dpi and implementation of cloud-cooperation framework. so, considering the special requirements and unique characteristics of cloud computing, we study on how to apply dpi on cloud computing platform. main contributions of this paper are as follows: 1. current development and characteristics of cloud computing are analyzed in this paper, the security issues of cloud computing and its research progress are also discussed. based on summary of current dpi mechanisms, the importance and difficulties of applying dpi mechanism in cloud computing are pointed out. 2. we propose a new deep packet inspection mechanism: apfa, which is developed based on detailed analysis over causes of status explosion and flaws of existing solutions. applying asynchronous parallelism and heuristically forecast mechanism, it can take advantage of multi-core platform, offering an effective method to avoid overlapping problem and semantic assaults. experiments under environment with artificial flows show that the average space apfa costs is 82.5% less than that of xfa and the average time is 67.1% less cost. in addition, in actual environment of internet data stream, space cost and time cost are decreased by 64.8% and 35% respectively. abstract iv 3. an intelligent cloud-cooperation framework of dpi is designed, given characteristics of cloud computing like distributed computing and user configurability. the overall efficiency is improved since it coordinates the configuration intelligently according to diversity of resources in the back end of cloud computing system and provides a scheduler for cooperative processing and defenses of repeated assaults. by comparing our design with traditional framework in virtual cloud computing platform, we prove the advantages of cloud-cooperation framework on space and time performance. key words: cloud computing, deep packet inspection, asynchronous parallelism, distributed computing, cloud-cooperation 目 录 viii 图目录图目录 图 2.1 云计算的搜索趋势.6 图 2.2 一个简单的启发式匹配示例.11 图 2.3 bloom filter 匹配算法.13 图 2.4 ac 算法示例.14 图 2.5 一种简单的优化 ac 算法的状态结构 .15 图 2.6 bitmap 压缩 ac 算法的状态结构.15 图 2.7 多个 dfa 融合成一个 dfa.17 图 2.8 一个简单的 d2fa 示例.18 图 2.9 含标签的 dfa 详细转化过程.20 图 2.10 用标签解决计数限制问题.21 图 2.11 实际数据流实验图.22 图 3.1 dfa 中的状态爆炸.25 图 3.2 一个 xfa 范例.25 图 3.3 预处理模块.27 图 3.4 异步并行机制.28 图 3.5 启发式预测机制.28 图 4.1 云计算平台体系架构.36 图 4.2 分布式计算与云计算.37 图 4.3 云计算的虚拟架构.37 图 4.4 用户的个性化需求.38 图 4.5 智能分配与管理框架.40 图 4.6 多点协作扩展示例.41 图 4.7 基于中心监控的管理.42 表目录 viii 表目录表目录 表 2.1 正则表达式转化成 dfa 的状态数.16 表 3.1 有限状态机所占用的空间.31 表 3.2 xfa 和 apfa 的静态内存对比.32 表 3.3 面对人工恶意流时的性能对比.32 表 3.4 面对实际因特网数据流时的性能对比.33 表 4.1 三种框架的空间性能对比.43 表 4.2 三种框架的检测时间对比.43 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文,是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外,论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名:_ 签字日期:_ 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一,学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权,即:学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版,允许论文被查阅和借阅,可以将学位论文编入有 关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 公开 保密(_年) 作者签名:_ 导师签名:_ 签字日期:_ 签字日期:_ 第一章 绪论 1 第一章第一章 绪论绪论 1.1 研究背景 随着计算机硬件与软件技术的飞速发展, 云计算逐渐成为计算机工业界和学 术界的关注热点。迄今为止,google, ibm, microsoft, emc, amazon 等 it 商业巨 头都推出了自己的云计算平台或研究计划123456, 他们几乎都将云计算 作为未来发展的重要方向, 相关商业媒体也将云计算视为计算机未来发展的主要 趋势7,今年 5 月 21 日在北京召开的中国第二届云计算大会,也吸引了众多国 内厂商和机构的关注与参与,云计算的前景勿庸置疑。 云计算是一种全新的计算模型89,它将互联的大规模计算资源进行有效 地整合,并把计算资源以服务的形式提供给用户。用户可以随时按需求访问虚拟 的计算机和存储系统,而不需要考虑复杂的底层实现与管理,大大降低了用户的 实现难度与硬件投资。而且,通过服务整合和资源虚拟,云计算有效地将实际物 理资源与虚拟服务分离,提升了资源的利用率,减小了服务代价,并有效地屏蔽 单个资源出错的问题。 由于云计算拥有高可用性、易扩展性和服务代价小等优点,因此其获得了广 大 it 企业用户的青睐11。 但是云计算的概念在近几年才得到广泛的关注, 相关 技术仍不够成熟,还没有得到广泛的应用。云计算是一个公共存储平台,用户将 自己的数据与资料存放在其中,不再对存储设备和信息数据直接进行物理控制, 这无疑增加了数据泄漏的担忧与风险12,一旦发生机密资料或风险数据的丢 失,后果不堪设想。据最近调研10表明,绝大部分 it 信息主管和执行官最担忧 云计算的安全性。 近年来的 amazon 宕机事件和 google docs 用户数据泄漏事件, 都给云计算的安全性敲响了警钟。云计算的安全性问题,已经成为云计算推广的 严重障碍。 目前学术界对云计算安全性的研究还处于初步阶段, 现有文献大多对云计算 的安全性做出提醒与建议8-14,而没有提出具体的防护技术,其中云安全联 盟提出的云计算关键领域安全指南17获得了大量用户的认可;此外,部分文献 针对云计算的安全框架模型、安全策略与数据保护等进行研究18-23,也有部 分文献24-26开始研究强有力的入侵检测工具在云计算中的使用,但都还处于 初步阶段。 作为一个公共数据中心,云计算平台拥有多客户连接、高交互性、数据安全 保障要求高等特点,对入侵、攻击、病毒和恶意软件十分敏感,需要全方位洞悉 对网络、框架和数据的各种威胁。传统的被动防御机制(例如加密)不足以确保 第一章 绪论 2 云计算的安全性,十分有必要对云平台中的数据流进行实时主动地监控、检测和 防御。据文献27-44所述,深度包检测技术是实现主动检测与防御的最有效技 术之一,其通过对数据流中每个数据包的负载内容进行详细的检测过滤,对比已 有规则来检测是否存在恶意信息。规则库中的规则一般使用正则表达式进行表 述,因此它一般使用确定性有限状态机(dfa, deterministic finite automaton) 或非确定性有限状态机(nfa, non-deterministic finite automaton)来实现检测, 其中前者速度较快,却拥有状态爆炸问题,而后者空间性能好,但耗费的时间很 多。 经过广泛调研与分析,我们发现现有文献关于深度包检测的研究,大多针对 正则表达式所引起的空间爆炸问题进行优化, 无法满足云计算服务的多连接与多 并发性所带来的实时性与稳定性要求。而且更重要的是,它们并没有考虑云计算 环境的分布式并行、用户可配置等特点,无法有效地适应云计算环境。值得一提 的是,华为赛门铁克和 snoicwall 等公司开始了深度包检测的云计算产品研究与 应用,但研究深度包检测机制在云计算中的应用,在学术界还没有先例。 在这种背景下, 本文主要从深度包检测技术的算法原理和实现框架两方面入 手,研究如何将深度包检测技术引入云计算平台,并探索新的方式使之适用于云 计算, 有效提高云计算的安全性。 本文针对云计算中的深度包检测机制进行研究, 一方面具有较强的研究意义, 如何提升深度包检测技术的性能一直是国内外研究 的热点,但将其用于云计算平台还没有先例;另一方面具有较高的应用价值,针 对性研究云计算平台中的深度包检测技术,有利于解决云安全问题,从而促进云 计算平台的推广。本论文的研究还可以为实验室以后相关研究打下坚实的基础。 1.2 研究目标与内容 在针对云计算与深度包检测进行广泛调研的基础上, 本论文主要研究如何引 入深度包检测机制来有效地提升云计算的安全性,其主要内容可以分为两个部 分:从算法原理上,提出和实现性能和稳定性更好的深度包检测算法;从实现框 架上,提出和设计深度包检测机制的智能云协作框架。 首先,本文从算法原理上进行研究,提出和实现了性能和稳定性更好的异步 并行深度包检测机制 apfa。在云计算平台中,用户存储的数据敏感性强,且存 在多用户和高并发性连接,现有深度包检测机制大多针对空间性能优化,不能满 足云计算的速度和稳定性要求。本文针对现有算法效率和稳定性不高的原因,引 入异步并行机制和启发式预测机制有效地解决了计数限制符这一难点, 并在多核 并行的基础上提出异步并行深度包检测机制,然后通过理论分析和详细实验,证 第一章 绪论 3 明了该算法比现有算法时间、空间性能更好,稳定性更强,的确更适合于云计算 环境。 其次,本文对深度包检测的实现框架进行研究,提出和设计了一种智能云协 作框架。云计算平台是一个大规模的分布式虚拟平台,用户对其中的服务具有可 配制性,以期满足不同用户在不同应用中的不同需求。现有深度包检测机制针对 核心服务器或网关架构,并没有考虑云计算平台的分布性、虚拟性和用户可配置 性,不能很好地适应云计算环境。本文针对云计算环境与普通分布式环境的不同 特点, 提出智能云协作框架, 其根据云后台硬件资源的异构性来智能地协调配置, 并使多个云节点通过协作来均衡处理和防御重复攻击,提高了整体效率;然后通 过搭建虚拟云系统进行性能测试,证明了该框架的有效性与性能上的优势。 1.3 本文内容安排 根据研究目标与内容,本文一共分为 5 章,余下章节安排如下: 第二章主要对云计算和深度包检测的相关背景技术进行介绍。 首先概述云计 算的概念与发展,其次对云计算的各种形式与特点进行分析,然后探讨了云计算 的安全与研究进展,最后对主流的深度包检测技术进行详细讲解与对比,从而为 下文的研究工作打下坚实的基础。 第三章在第二章的基础上,主要从现有深度包检测机制的算法原理出发,提 出一种性能和稳定性更好的异步并行深度包检测机制 apfa。针对现有算法的不 足,引入异步并行机制和启发式预测机制,有效解决了语义攻击问题,最后通过 理论分析和实验,证明了该算法与传统算法相比在性能和稳定性上的优势。 第四章主要针对深度包检测在云计算中的实现框架进行研究。 首先仔细分析 云计算的分布式、虚拟化和用户可配置性等特点,然后提出和设计了一种深度包 检测的智能云协作框架,其通过智能协调配置和协作均衡处理来提高整体效率, 最后搭建虚拟云计算平台进行测试,实验结果表明了该框架的有效性和优点。 第五章对本文的研究进行总结和展望,并探讨云计算安全和未来研究的方 向。 本文最后是本人攻读学位期间发表的学术论文、参与的科研项目和致谢。 第二章 相关背景 4 第二章第二章 相关背景相关背景 根据 1.3 节的内容安排,本章主要对云计算和深度包检测的相关背景技术 进行分析探讨,包括云计算的概念与发展、云计算的各种形式与特点、云计算 的安全研究与主流的深度包检测技术, 从而为第三章和第四章的研究打好基础。 2.1 云计算的概念与发展 云计算是近年来 it 界革命性的举措, 它的到来引起了整个计算机行业的剧 变。许多文献都作出了云计算的定义9,归纳来讲,云计算将所有互联的计算 资源集中整合起来并自动管理,而将计算能力作为商品以服务的形式出售给用 户,用户仅需要一个简单的终端,就可以随时随地按需获取强大的计算能力或 其他服务。 云计算在近三年来逐渐成为世界各大 it 企业和高校研究的热点,从图 2.1 中可以看出云计算在 google 搜索引擎上的搜索趋势,从 2007 年底开始,云计 算关注度呈急剧上升的趋势。 图 2.1 云计算的搜索趋势 云计算的发展在国外兴起较早,近年来在国内也引起了各大 it 企业的关 注,下面对各 it 巨头在云计算方向的发展进行归纳1516: 2007 年 8 月,ibm 公司高调推出了蓝云计划,并公开声称云计算将成为其 接下来的一项重要业务,并通过云计算来推广扩张。在此之后,ibm 公司在美 国北卡罗来纳州斥巨资建立了云计算数据中心,并在日本东京建立了云计算研 第二章 相关背景 5 发机构,开始在全球范围内迅速开展云计算业务推广与研究。2008 年 ibm 公 司开始在中国推广云计算,同年 5 月在无锡太湖新城科教产业园建立了中国第 一个云计算中心, 6月在北京ibm中国创新中心成立ibm大中华区云计算中心。 google 也于 2007 年 10 月宣布在全球开展云计划, 当月便与 ibm 合作, 在 美国多所著名高校中开设云计算课程,并提供云平台的相关软硬件设备和技术 支持,以期降低云计算学术研究方面的成本。2008 年,google 迅速将云计算推 广到台湾和中国大陆的台湾台大、交大和清华等高校,将这种大规模分布式计 算推广到全球校园。同时,google 在 4 月份发布 google app engine,为云计算 平台的相关开发提供强力的支持。 amazon 公司较早开展了云计算平台的商用业务, 其中 amazon ec2 将计算 资源与能力以服务的形式按时按量地出售给小型企业,使他们能按需购买计算 能力,而无需搭建系统与管理。这种成功的商业模式,使 amazon 获得了相当 多的利润。2008 年 9 月,amazon 公司又与 oracle 公司合作,使用户在云平台 中可部署甲骨文软件。 2008 年 10 月,微软完成公共云计算平台 azure 的初步开发,并于 2010 年 1 月正式发布服务,拉开了微软的云计算大幕。同时,微软宣布其 90%员工将 从事云计算及其相关工作,以期大规模应用云计算技术,将全球数以亿计的用 户有效地互联起来。 此外,hp, dell, emc, intel, yahoo 等国外众多 it 公司都纷纷开展了云计 算相关业务与研究,国内的中国移动、中化集团、阿里软件等公司,也在近期 开展了云计算的推广应用。 而 360 安全卫士、 瑞星、 趋势、 卡巴斯基、 mcafee、 赛门铁克等公司都推出了云安全解决方案,利用云的思想,通过呈发散分布的 客户端对网络中软件行为进行监测,获取木马或恶意程序的异常信息,并汇集 到服务器端进行分析与研究,再将研发的解决方案分发给每一个客户端。 值得一提的是,中国电子学会在 2008 年 12 月成立云计算专家委员会,并 聘任中国工程院院士李德毅为主任委员,聘任来自于中国工程院、中国移动通 信研究院、ibm 公司等部门的六位专家为副主任委员,聘任 30 多位知名专家 学者为专家委员会委员,其中也包括本人导师俞能海教授。 2.2 云计算的形式与特点 许多公司与专家各自提出了对云计算的理解,其中 infoworld 网站同许多 it 公司与用户一起讨论出了云计算的几大形式16: 1) 软件即服务(saas, software as a service) 第二章 相关背景 6 软件即服务的基本思想是:用户可以通过浏览器访问云计算平台上的各种 软件程序,并以购买服务的形式付费,用户可以省去架设软件及相关平台的费 用,而供应商可以统一维护,减少成本。s、google app 等是这类 形式的典型代表。 2) 效用计算 效用计算的思想提出较早,而云计算则有效地运用起来,它将数量巨大的 硬件设备及其对应的计算能力整合起来,形成虚拟的资源池,来为整个云计算 平台服务。 3) 平台即服务(paas, platform as a service) 平台即服务形式的云计算将开发环境作为服务提供给用户,用户可以按需 购买,从而使用中间商的设备和平台来开发自己的程序,它相当于将底层硬件 到上层软件都作为服务提供给用户的一个混合系统。 除了这三种最典型的云计算形式以外,还有管理服务提供商、商业服务平 台、互联网整合等常见形式。从这些简单的分类可以看出,云计算的确是将底 层到上层的各种资源和技术进行整合,并以服务的形式提供给用户。从用户的 角度来讲,云计算无疑是很诱人的,因为云计算的形式与功能拥有这些优点: 1) 用户不用再处理数据丢失和病毒入侵等问题。用户使用云平台,实际 上是将数据的安全托付给云, 而云后端的专业管理能实现安全可靠的数据存储。 2) 用户端设备要求低,使用也很简单。用户不再需要为了简单的功能, 例如假设网站,而付出购买设备与维护的代价。使用云计算平台耗费小,代价 低。 3) 用户可以随时随地获取计算能力与数据。相比传统服务器,用户可以 随意使用各种设备通过互联网访问云端的资源与计算能力,而没有异种设备不 能沟通的问题。 同时,云计算作为一个大规模的分布式系统,其具有高可靠性、易扩展性 和用户可配置性等特点,与一般的分布式系统相比也有很多优点。但是,我们 也必须看到其潜在的安全隐患,它作为一个数据公共存储平台,存储了所有用 户的各种信息,任何操作的不当都有可能引起数据的泄露,产生不可估计的灾 难。 2.3 云计算安全 虽然云计算具有很多优点,引起了各大 it 企业的强烈关注,但它暂时还没 有得到广泛的应用。由于云计算平台是一个公共数据平台,并不在用户的物理 第二章 相关背景 7 控制之下,因此云平台设施与数据的安全性,成为横跨在大部分用户和云计算 之间的鸿沟。amazon 自从推广云计算业务以来,在 2009 年 6 月 11 日和 7 月 20 日左右相继发生两起严重的宕机事件,丢失了许多连接,引发了业界对云计 算稳定性的质疑;而在 2009 年 3 月,google docs 承认部分用户数据发生误共 享和泄漏,也给我们敲响了云计算安全性的警钟。云计算中的虚拟化关键技术, 在有效地隔离各用户与分离物理资源时,也引起了黑客的攻击和各种病毒的侵 入,云计算的安全性至关重要。 云安全联盟 csa 在 2009 年的 rsa 信息安全大会上宣布成立, 并迅速获得 了业界的广泛认可,联盟中的企业成员现已达到 30 多位,涵盖了国际领先的电 信运营商、it 和网络设备厂商、网络安全厂商、云计算提供商等,其中还包括 中国的绿盟科技公司。2009 年 12 月 24 日,云安全联盟发布了第二版云计算关 键领域安全指南17,在 13 个领域中提出了具体的安全建议,包括事故响应、 加密和密钥管理,身份和访问管理、以及法规和电子化搜寻等,并期望得到企 业、机构和个人的关注、研究和采纳。该指南指出:云计算与传统 it 环境中的 安全控制具有一定相似性,但由于其所采用的云服务模型、运行模式和云服务 技术,云计算可能面临不同的风险。在不同云服务模型中,提供商和用户的安 全职责也会有很大的不同。 例如amazon的 ec2架构作为服务仅负责物理安全、 环境安全和虚拟化安全等,而靠用户来负责绝大部分应用安全;而 s 的 crm saas 中提供商不仅负责物理安全和环境安全, 还负责设 施、应用和数据相关的安全控制,用户仅拥有很小的运行责任。总体上,云计 算是一种大规模的分布式虚拟网络,用户在云中进行计算与存储,并依靠提供 商提供大部分安全保障。 目前,在学术界针对云计算的安全性研究还处于初步阶段,现有文献大多 对云计算的安全性做出提醒与建议8-14,而没有提出具体的防护措施。部分 文献针对云计算的安全框架进行研究,例如文献18提出的虚拟私有框架 (private virtual infrastructure)和文献19提出的利用加密来保护虚拟机安全的 框架;此外,文献20提出基于策略的动态可配置安全模型;文献21针对云计 算中的数据保护,提出一种有效而灵活的分布式机制来保护数据与灾难恢复; 文献22提出云计算中的访问控制安全策略; 文献23就云平台 ddos 攻击的防 范策略进行研究。 值得一提的是,华为赛门铁克和 snoicwall 等公司已经开始了深度包检测 的云计算产品研究与应用;部分文献也开始研究强有力的入侵检测工具在云计 算中的使用。其中,文献24研究了入侵检测机制在云计算中的用户可配置性; 文献25提出使用移动代理的分布式入侵检测机制来确保云计算安全; 文献26 第二章 相关背景 8 利用分布式的特点,综合使用用户行为分析与基于认知规则的检测两种技术来 提升云计算中入侵检测的性能。 深度包检测机制常用于基于认知规则的入侵检测系统,本文也重点研究该 机制在云计算环境中的应用,研究如何使其适应云计算环境的分布式并行、用 户可配置性等特点,并满足云计算平台的高速、高稳定性需求。云计算的安全 性至关重要,无论是供应商还是用户都十分关注,因此本文进行的研究工作的 确是有必要的,能为云计算的推广起到积极作用。 2.4 深度包检测技术 在网络高速发展的今天,针对应用层的各种攻击现象日益增多,入侵检测 系统中敏感信息的检测愈发重要,网络安全已经成为重中之重;而各种多媒体 技术也逐渐深入生活,用户针对各种应用服务的要求也日益丰富。但是在防火 墙中广泛使用的传统包分类技术,只能在网络层和传输层分析数据包的包头格 式,例如源/目的地址、源/目的端口等信息,远远不能满足网络安全性和用户的 需求。在这种背景下,深度包检测技术作为能够深入分析数据包信息的典型技 术及时出现了,它可以剥开数据包的各层包头,直接对数据包所负载的应用层 数据进行检测,判断出目标数据符合特征库中的哪条特征,并配合防火墙使用 各种处理策略来实现安全性保障和满足用户需求。 深度包检测技术从数据包的负载内容中搜索、匹配预先给定的关键字或特 征,并根据匹配的结果来对该数据包进行处理。内容的特征在 2004 年以前大部 分是使用显式字符串来表示,深度包检测技术本质上是字符串匹配,许多文献 也针对如何提高字符串匹配的速度进行了广泛的研究,例如启发式匹配算法、 ac 算法33、bm 算法29、wm 算法30等。随着网络硬件的不断升级,人们 对于网络处理的速度要求越来越高;各种深度包检测的特征库也越来越大,例 如著名的网络入侵检测系统 snort46,含有的规则就有数千条;正则表达式由 于其强大的表现能力,逐渐成为模式特征的主要表现形式。迄今为止,正则表 达式已经被广泛采用,并运用于各种网络安全设备与工具,但它的运用同时也 面临一系列挑战。 dfa 和 nfa 一般用于匹配正则表达式, 但是当它们用于深度包检测时却存 在时间和空间性能差的问题。dfa 可以实现高达线速的数据包匹配,每输入一 个字符仅有一个状态转移, 但是由于规则中的正则表达式包含许多复杂的形式, 例如通配符、计数限制符等特殊字符,这将导致 dfa 中状态爆炸问题的产生, 严重加剧 dfa 的空间消耗;另一方面,nfa 拥有高效的存储结构,不存在状态 第二章 相关背景 9 爆炸问题,但是它的不确定性导致每输入一个字符可能引起多个状态转移,时 间性能大大下降。国内外许多学者在近五年来,针对 dfa 的状态爆炸问题进行 了广泛的研究, 在许多高端会议与杂志上发表了大量研究成果, 例如 d2fa, xfa 等。尽管这些研究成果在减少 dfa 的状态数与空间消耗上取得了显著的成果, 但它们大多引入了大量的额外时间与空间,而这严重影响了它们的实用性,因 此在深度包检测技术性能优化方面仍然存在大量研究空间。 2.4.1 深度包检测研究进展 深度包检测源于显式字符串匹配方法,即从目标数据序列中匹配已有的字 符串序列,而随着显式字符串逐渐被正则表达式所代替,基于有限状态机进行 目标特征匹配成为深度包检测的主要形式。本论文按照文献28所归纳的方法, 将深度包检测技术大体上分为四类:基于启发式的字符串匹配算法;基于过滤 器的匹配算法;基于状态机的匹配算法;专用硬件优化匹配算法。接下来将详 细分析这几种深度包检测算法的优缺点。 2.4.1.1 基于启发式的字符串匹配算法 启发式匹配与传统的串匹配相比,都是单模式匹配算法,但却可以利用坏 字符启发或好后缀启发来加快字符匹配过程。 图 2.2 一个简单的启发式匹配示例 从图 2.2 中可以看出启发式匹配算法的快速与有效性。在搜索匹配的过程 中,一个搜索窗口(长为 m)覆盖在数据序列上并滑动搜索,它能够检查窗口 中数据后缀字符串是否出现在模式中,根据检查结果判定可疑匹配是否存在, 若不存在则向后滑动一个窗口的长度;若存在,则根据出现位置决定向后滑动 第二章 相关背景 10 的长度(偏移函数) 。 典型的启发式匹配算法有 bm 算法、 wm 算法以及它们的各种改进算法等。 bm 算法可以根据两种启发来向后偏移: 坏字符启发和好后缀启发, 同时两 种启发偏移函数也是在搜索匹配前预先计算好的。在搜索窗口内,从后向前来 搜索字符串,寻找一个在模式中同时出现的最长的后缀。当找到一个不匹配的 字符时,调用两种启发偏移函数,取这两个函数值的较大者作为偏移量,整个 搜索窗口往后移;若没有找到不匹配字符,即最长后缀与模式相同,则完全匹 配,可输出结果。通过对其原理的分析,我们可以发现 bm 算法在每次偏移量 都接近窗口长度时性能最优,其最优性能为 o(n/m),而平均性能为 o(nlog|n/m)40; 但模式和目标数据都仅包含相同的单个字符时, 其性能很差, 为 o(nm)。 horspool31简化了 bm 算法,考虑到字符为 ascii 字符的情况下,在搜索 窗口内匹配到正确模式的几率较低,而每次均调用两种函数较为冗余,因此只 使用坏字符启发,在实际运行中也表现出比 bm 算法更快的速度;set-wise horspool 算法41将 horspool 算法扩展开来,用于同时匹配多个模式,它沿用 了类似启发偏移的匹配算法,而同时搜索的多个模式使用了 reverse trie 的表现 形式。 wm 算法是针对 set-wise horspool 算法的一种改进,它每次读取 b 个字符 来决定偏移量。预先计算好转移表和哈希表,转移表存储每 b 个字符的对应偏 移量, 而偏移量需要由目标模式组按照启发式偏移决定。 wm 算法用于 agrep42 和 glimple43两种文本检索技术,这种算法提高了平均性能,而依然忽略了最 坏性能。在运行中,表项容量的大小与偏移量的大小需要平衡。 总而言之,启发式匹配算法加快了单模式匹配的平均速度,但它不太适用 于多模式匹配,因此实际 dpi 技术中很少使用;同时,它们低劣的最坏情况性 能,易被语义攻击所利用,而且在面对 snort 等大量短模式44情况时,性能改 善也不明显,因此它们很少直接用于网络安全。 2.4.1.2 基于过滤器的匹配算法 基于过滤器的匹配算法都是模糊匹配算法,快速搜索必要的模式特征,并 能够快速地排除不包含目标模式的数据。最常见的基于过滤器的匹配算法是 bloom filter 算法,它预先对某个目标模式做 k 个哈希变换 h1, h2, , hk,哈希 值的范围为 1m,因此设计一个 m 位的向量,并将这 k 个计算值一一映射到这 个 m 位向量中, 对应 k 个 bit 位被设置为 1。 然后对模式组的每个模式依次处理, 完成过滤器的初步处理。在匹配的过程中,对输入的数据序列同样进行 k 个哈 希函数计算, 得到一个 m 位的向量, 然后与目标模式组的 m 位向量组进行对比, 第二章 相关背景 11 若有某个模式对应 m 位向量与其相同,则为可疑匹配,需要重新验证。 bloom filter 是一个过滤器组,每个过滤器所对应的模式组中各个模式的长 度是特定的,因此需要将各模式按长度不同分组,并采用不同的过滤器。该匹 配算法只会误判,而不会漏判,它的效率取决于误判的几率,误判越多,则重 新采取传统串匹配进行验证的次数越多,系统性能下降也就越快。误判几率 f=(1- e-nk/m)k,其中 n 是输入字符数目,我们可以调整 k 的个数,使 f 的值最小, 在最好情况下,k=(m/n)ln2,对应的误判几率最低,为(1/2)k。 图 2.3 bloom filter 匹配算法 从图 2.3 可见 bloom filter 的详细匹配流程,不同长度的过滤器依次滑动, 直到处理完成;而不同长度的过滤器需要同时运行,因此依赖于并行处理,在 普通硬件上运行效率较低,需要利用专用硬件进行优化

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论