Unit3数据源、数据采集及其工具.ppt

1,入侵检测及扫描技术, 数据源与数据采集方法,2,主要内容,数据源分类 数据采集方法 Honeypots IDS存在的问题 两种体系结构与分布式数据收集,3,数据源,4,数据来源分类,入侵检测系统中数据来源主要分两类： 基于主机的数据源 基于网络的数据源 数据源的选择主要依据所要检测的内容 如：对于DOS攻击，要采用基于网络的监视器获取畸形数据包，并查明数据包的来源和攻击目标；同时要采用基于主机的监视器帮助确定系统是否由于DOS攻击而崩溃。,5,基于主机的数据源,主要有以下类型： 操作系统审计记录 系统日志 应用日志信息 数据库系统日志 www服务器日志 基于目标的对象信息 如：完整性校验技术,6,完整性校验工具tripwire,Tripwire著名的完整性校验工具，能够帮助管理员判断系统的一些重要文件是否被攻击者修改。 1992年，Purdue大学COAST实验室的 Gene H.Kim和Eugene H. Spafford开发了tripwire。目的是建立一个工具，通过这个工具监视一些重要的文件和目录发生的任何改变。 1997年，Gene Kim和W.Wyatt Starnes发起成立了Tripwire公司。他们成立这个公司的目的之一是发布一个能够用于更多平台的商业升级版本 。,7,完整性校验工具tripwire（续）,支持的操作系统：win NT, win 2000, Solaris，Linux等。 采用的Hash算法：MD5, Haval, SHA和CRC-32 产品： Tripwire for server(针对服务器文件及数据的完整性检查) Tripwire Manager(中心管理平台) Tripwire for Web pages（针对Apache web服务器的网页完整性检查 网址：,8,基于网络的数据源,基本原理：当网络数据流在网段中传播时，采用特殊的数据提取技术，收集网络中传输的数据，作为IDS的数据源。 如：RealSecure，NFR，NetRanger，snort都采用了网络数据作为入侵检测的数据来源。 抓包工具： Windows平台下的wipcap Unix平台下的libpcap,9,Wincap,Windows平台下的抓包工具，是从unix 平台下的libpcap移植而来的. 由NetGroup开发完成 功能：抓包、提供底层的数据驱动、可使用raw mode在网络中发送和接收数据包 很多基于windows平台的IDS都使用wipcap作为获取网络入侵分析数据源的驱动程序。,10,Tcpdump和arpwatch,Tcpdump和arpwatch是两种常用的网络监听程序，都使用BPF(Berkeley Packet Filter，用于数据包截取和过滤的内核架构，由美国Lawrence Berkely Laborary开发)做底层驱动。 Tcpdump：用于网络监听、数据提取、过滤器解释及数据包解析。有很多版本，适用于不同的OS Arpwatch是针对地址解析协议(ARP)的监视程序,用于跟踪硬件地址和IP地址治安的映射，当产生新地址绑定或出现异常行为时向管理员报告。,11,Libpcap,Libpcap是Unix平台下应用最为广泛的数据包截取库，被许多IDS开发商所采用，如NFR（network flight recorder） 特点： 提供了可移植的底层网络监听功能 可将数据包直接截取并下载到内核内存中，提升系统监听性能 对Linux的支持(linux正成为开发IDS的流行平台),12,数据收集方法,13,数据收集机制的重要意义,入侵检测系统的精确性、可靠性和效率与其采集数据的质量和完整性密切相关。 如果获得数据有很大延迟，那么检测就会因执行得太晚而失去意义； 如果获得的数据不完整，检测能力就会降低； 如果由于出错或入侵者做手脚而导致收集的数据不正确，那么入侵检测系统就可能无法检测出某些入侵，给用户造成一种安全的错觉 。,14,常用的数据收集工具,能否收集到充分的入侵证据常常是入侵检测成败的关键。 目前常用的数据收集工具有：审计记录（audit trials）、网络监视器、绊索（Tripwires）、蜜罐（Honey pots）、配置检查工具、操作系统命令、异常检测系统等。,15,按照数据来源,基于主机的数据收集：从主机获得作为入侵判据的数据 基于网络的数据收集：通过监视网络的通信来获得数据,16,基于主机的数据收集的优点,基于主机收集到的数据能够确切反映主机上发生的事件，而不是对流过网络的包进行猜测。 在高流量的网络中，一个网络监视器很可能会错过恶意的数据包，而正确实现的主机监视器却可以报告发生在每个主机上的每个事件。 基于网络的数据收集机制容易遭受插入和逃避攻击。这些问题在基于主机的数据收集中不会发生，因为插入和逃避攻击是在数据传输时改变数据的，而在到达目的主机时才会显示其攻击的本质。,17,NIDS与HIDS结合的优点,网络速度不成问题。因为主机网络接口检测器监测的是一个主机上的通信，而不是网络中的所有通信。 网络栈在数据包到达主机网络接口检测器之前即已将它们解密。 由于主机网络接口检测器是直接位于主机上的，因此交换网络也不成问题。,18,按照监视对象的不同,直接监视：直接从生成数据的、或与数据有关的对象获得数据，如直接从主机的内核得到数据。 间接监视：从反映受监视对象行为的原始资料中获得数据，如读取日志文件、查看发往目的主机端口的网络包。,19,直接监视与间接监视的比较,来自间接监视的数据（如，审计数据）存在使用前被入侵者篡改的危险。 在间接数据源上有些事件可能不能被记录，并且间接数据源可能访问不了被监视对象的内部信息。 间接监视机制获取的数据量很大，常常需要将它们过滤掉，这增加了系统负担，降低了系统性能。直接监视方法能够按需获取信息，生成的数据量较少。 间接监视通常在数据产生和IDS访问数据之间引入较大的延迟，而直接监视延迟短，有利于IDS及时地做出反应。,20,按照与受监视程序代码的位置关系,内部传感器：内部传感器构建于受监视程序代码中 外部传感器：是与受监视程序相分离的监视部件,21,外部传感器和内部传感器的 优缺点比较,22,从软件工程的观点进行比较,错误的引入 内部传感器因为要修改受监视程序的代码，容易在程序操作中引入错误。 维护 外部传感器容易维护，因为它们和被监视程序是相分离的。 大小 内部传感器比外部传感器代码量小，可避免单独建立进程所需的基本额外负载。 完整性 内部传感器可以可获得关于受监视程序的更完整信息，可采集到的数据的覆盖范围比仅从外部观察程序的外部传感器更完整。 正确性 内部传感器可以访问更完整的数据，因此内部传感器可以产生比外部传感器更正确的结果。,23,一种特殊的数据收集和 入侵检测工具 Honeypots,24,Honeypot(蜜罐),Honeypot：引诱攻击者前来攻击，同时记录攻击者的行为，研究攻击者的攻击手法。 设置方法：在外部网上放置一台运行没有打补丁的Windows或Linux计算机（有明显漏洞），其上的数据要看起来很真实。 分为两类： 生产蜜罐（production honeypots） 研究蜜罐（research honeypots）,25,production honeypots,用来帮助组织转移风险，保护生产性资源的安全性。 生产蜜罐的作用主要体现在3方面： 阻止：诱导攻击者花费时间和资源去攻击蜜罐，而不是生产性的系统。但对于自动攻击工具，蜜罐不起作用。一般当蜜罐受到攻击，组织中的其他系统也将很快受到攻击。 检测：蜜罐可以简化检测过程，有助于减少误报和漏报。 响应：可以提供缩减的污染数据和可摘出的可扩展系统。,26,research honeypots,为研究威胁提供了有价值的平台。其获得的经验用于改进防范、检测和响应。 对research honetpots感兴趣的一般是大学，政府，或大型公司。 如：honeynet project 网址：,27,Honeypots 的特点,优点： 收集的数据少 不会有很多噪音数据的干扰 缺点： 只有在受到攻击时才会有用 给用户环境引入了新的威胁,28,如何将蜜罐集成到自己的系统中？,将蜜罐系统放在接近生产性服务器的地方，引诱那些目标在于生产性服务器的入侵者 把蜜罐系统放置在生产性服务器之间。,29,honeynets(蜜网),为了防止黑客利用设置有honetpot的机器去攻击其它系统。 A Honeynet is a network of production systems 。 Honeynets are primarily research honeypots. Honeypots project采用隐蔽技术对付使用加密技术的黑客的攻击，如，把敲入的字符隐藏到NetBIOS广播数据包中。,30,IDS存在的问题,31,两个概念,漏报（False Negatives）：是指攻击事件没有被IDS检测到。 误报（False Positives）：是指IDS将正常事件识别为攻击。,32,问题1,发生漏报和误报的主要原因是： 一、IDS通过网络嗅探（Sniffer）技术获取网络数据包后，需要进行协议分析、模式匹配或异常统计才可能发现入侵行为。可是我们知道，协议分析是很复杂的，当涉及到数目庞大的应用协议、各种加密或编码方式、以及针对IDS的规避技术时，则更是如此。在没有透彻分析数据包涉及协议的情况下，发生漏报和误报是在所难免的。,33,解决办法,要解决第一类问题，除了加大协议分析的深度和细度外，还有待于理论和技术上的突破。目前，国内外这方面的研究取得了迅速的发展。首先是基于神经网络的入侵检测技术，该技术的关键在于在正式检测之前要用入侵样本进行训练，使其具备对某些入侵行为进行分类的能力，从而能够正确地“认识”各种入侵行为。另外，基于模型推理的入侵检测技术和基于免疫的入侵检测技术也是研究的热点。但值得注意的是，这些技术大多只是做为高校和研究所的科研成果，可运行的系统一般也只是远未成熟的演示版本，到真正产品化和进入网络安全市场仍然有很长的距离。,34,问题2,随着网络系统结构的复杂化和大型化，系统的弱点和漏洞将趋向于分布式。此外，随着黑客入侵水平的提高，入侵行为也不再是单一的行为，单个的IDS设备（无论是主机型还是网络型）应对分布式、协同式、复杂模式攻击的入侵行为时，就显得十分力单势薄。,35,解决办法,应对第二类问题的方法是：入侵检测系统也向分布式结构发展，采用分布收集信息，分布处理多方协作的方式。这里的“协作”有多个层次的含义：同一系统不同入侵检测部件间的协作，尤其式主机型（HIDS）和网络型（NIDS）入侵检测部件之间的协作；异构平台部件之间的协作；不同安全工具之间的协作；不同厂家安全产品之间的协作；不同组织间预警能力和信息的协作。可以说，“协作”是网络安全产品的一个重要发展方向！,36,问题3,IDS自身的安全性问题。如何防止入侵者对入侵检测系统功能的削弱乃至破坏的研究将在很长时间内持续下去。入侵检测系统本身的安全性不仅关系到检测的成败，而且关系到受保护系统的安危。目前，国内已有入侵容忍方面的研究，通过容错措施来避免或减少因入侵而对IDS造成的影响。,37,入侵者攻击入侵检测系统的方式,过载网络流量，使网络检测器失效 使事件存储失去作用 DoS（拒绝服务） 截获代理之间的通信信息，冒充合法用户篡改敏感信息。,38,自身安全性的内容及对策,IDS自身安全性主要包括三个方面内容： 保证IDS运行所依赖的操作系统的安全； 保证IDS程序自身的正确运行； 保证IDS中信息传输的安全性； 保证agent之间访问控制的安全性。,39,两种体系结构与 分布式收据收集,40,IDS两种体系结构的比较,41,集中式的体系结构,所有的工作包括数据的采集、分析都是由一台主机上的单一程序来完成。 优点：数据的集中处理可以更加准确地分析可能的入侵行为。 缺点是： 数据的集中处理使检测主机成了网络安全的瓶颈； 检测主机的负荷重，容易造成重大事件的遗漏； 实时性差，存在网络传输的时延问题，尤其是大规模异质网络，降低了消息的时效性和可信度； 同一种攻击行为在不同平台上表现出的模式特征不同，异质网络环境所带来的平台差异性使攻击判断变得困难； 这种方式的数据采集对于大型网络很难实现。,42,传统的分布式入侵检测系统,只是在数据采集上实现了分布式，数据的分析、入侵的发现和识别还是由单一程序来完成。 缺点： 可扩展性差 难于重新配置和添加新功能 中央分析器是个单一失效点 网络数据的分析容易受到欺骗,43,分布式数据收集,工作站上的应用检测代理和公共服务器上的服务检测代理：运行于受监视主机，使用基于主机的数据收集，它通常不受网络流量的影响，但必须为不同平台开发不同的程序，且会占用宝贵的主机资源。 查看文件系统的状态，如检查文件许可权或内容 通过运行命令，如ps，netstat或df； 查看审计跟踪。在某些情况下，审计跟踪是惟一获得某些信息的地方； 通过捕获来自网络接口的包，注意仅捕获发往本机的包； 通过查看Wrapper程序的输入和输出来观察其行为 通过库插入察看Wrapper库函数调用。,44,分布式数据收集（续1）,子网检测代理：运行于各网段关键入口处，使用基于网络的数据收