入侵检测系统及应用.ppt

入侵检测系统及应用,本章介绍的入侵检测系统是对防火墙极其有益的补充，能对非法入侵行为进行全面的监测和防护。在入侵攻击对系统发生危害前，检测到入侵攻击，并利用报警与防护系统驱逐入侵攻击；在入侵攻击过程中，能减少入侵攻击所造成的损失；在被入侵攻击后，收集入侵攻击的相关信息，增强系统的防范能力，避免系统再次受到入侵。本章重点如下:什么是入侵检测系统及主要类型主要入侵检测技主要入侵检测模型及各自特点入侵检测技术的未来发展方向入侵检测原理主要入侵检测系统的应用,4.1入侵检测系统（IDS）基础,入侵检测系统（IDS，IntrusionDetectionSystems）是目前预防黑客攻击应用最为广泛的技术之一。4.1.1入侵检测系统概述入侵检测（IntrusionDetection，ID）就是对入侵行为的检测。它通过收集和分析计算机网络或计算机系统中若干关键点的信息，检查网络或系统中是否存在违反安全策略的行为和被攻击的迹象。进行入侵检测的软件与硬件的组合便是入侵检测系统（IDS）。入侵检测系统通常包含3个必要的功能组件：信息来源、分析引擎和响应组件。目前，IDS策略按检测范围分为十二大类，其中包含了1400余种入侵规则，包括TCP、UDP、ICMP、IPX、HTTP、FTP、Telnet、SMTP、NFS、rsh、DNS、POP2、POP3、IMAP、TFTP、Finger、SSL、NETBIOS等协议类型。本节详细内容参见书本P126页。,4.1.2主要入侵检测技术,入侵检测系统中最核心的问题是数据分析技术，包括对原始数据的同步、整理、组织、分类以及各种类型的细致分析，提取其中所包含的系统活动特征或模式，用于对正常和异常行为的判断。采用哪种数据分析技术，将直接决定系统的检测能力和效果。数据分析技术主要分为两类：误用检测（MisuseDetection）和异常检测（AnomalyDetection）。误用检测搜索审计事件数据，查看是否存在预先定义的误用模式，其典型代表是特征模式匹配技术、协议分析技术和状态协议分析技术等；异常检测提取正常模式审计数据的数学特征，检查事件数据是否存在与之相违背的异常模式，其典型代表有统计分析技术、数据重组技术、行为分析技术。除了以上两类主要数据分析技术外，研究人员还提出了一些新的分析技术，如免疫系统、基因算法、数据挖掘、基于代理的检测等。本节详细内容参见书本P126P129页。,4.1.3主要入侵检测模型,如果按照检测对象划分，入侵检测技术又可分为“基于主机的检测”、“基于网络的检测”和“混合型检测”三大类。1.基于主机的检测（HIDS）基于主机的入侵检测系统是早期的入侵检测系统结构，通常是软件型的，直接安装在需要保护的主机上。其检测的目标主要是主机系统和系统本地用户，检测原理是根据主机的审计数据和系统日志发现可疑事件。这种检测方式的优点主要有：信息更详细、误报率要低、部署灵活。这种方式的缺点主要有：会降低应用系统的性能；依赖于服务器原有的日志与监视能力；代价较大；不能对网络进行监测；需安装多个针对不同系统的检测系统。2.基于网络的检测（NIDS）基于网络的入侵检测方式是目前一种比较主流的监测方式，这类检测系统需要有一台专门的检测设备。,检测设备放置在比较重要的网段内，不停地监视网段中的各种数据包，而不再是只监测单一主机。它对所监测的网络上每一个数据包或可疑的数据包进行特征分析，如果数据包与产品内置的某些规则吻合，入侵检测系统就会发出警报，甚至直接切断网络连接。目前，大部分入侵检测产品是基于网络的。这种检测技术的优点主要有：能够检测那些来自网络的攻击和超过授权的非法访问；不需要改变服务器等主机的配置，也不会影响主机性能；风险低；配置简单。其缺点主要是：成本高、检测范围受局限；大量计算，影响系统性能；大量分析数据流，影响系统性能；对加密的会话过程处理较难；网络流速高时可能会丢失许多封包，容易让入侵者有机可乘；无法检测加密的封包；对于直接对主机的入侵无法检测出。3.混合型（Hybrid）基于网络的入侵检测和基于主机的入侵检测产品都有不足之处，单纯使用一类产品会造成主动防御体系不全面。但是它们可以互补构成一套完整的主动防御体系，既可发现网络中的攻击信息，也可从系统日志中发现异常情况。本节详细内容参见书本P129P131页。,4.1.4当前入侵检测技术的不足,目前的IDS还存在很多问题，主要表现在如下：误报率高：主要表现为把良性流量误认为恶性流量进行误报。还有些IDS产品会对用户不关心事件的进行误报。产品适应能力差：传统的IDS产品在开发时没有考虑特定网络环境下的需求，适应能力差。入侵检测产品要能适应当前网络技术和设备的发展进行动态调整，以适应不同环境的需求。大型网络管理能力差：首先，要确保新的产品体系结构能够支持数以百计的IDS传感器；其次，要能够处理传感器产生的告警事件；最后还要解决攻击特征库的建立，配置以及更新问题。缺少防御功能：大多数IDS产品缺乏主动防御功能。处理性能差：目前的百兆、千兆IDS产品性能指标与实际要求还存在很大的差距。,4.1.5入侵检测技术发展方向,针对上节提及的入侵检测系统不足，业内相关人士同样拿出了以下一些主要的应对方法：改进分析技术内容恢复和网络审计功能的引入集成网络分析和管理功能检测技术的分布化转移检测的对象智能化入侵检测安全性和易用性的提高改进对大数据量网络的处理方法全面的安全防御方案本节详细内容参见书本P132P134页。,4.2入侵检测原理和应用,4.2.1入侵检测原理从总体来说，入侵检测系统可以分为两个部分：收集系统和非系统中的信息然后对收集到的数据进行分析，并采取相应措施。1.信息收集信息收集包括收集系统、网络、数据及用户活动的状态和行为。入侵检测利用的信息一般来自：系统和网络日志文件、非正常的目录和文件改变、非正常的程序执行这三个方面。2.信号分析对收集到的有关系统、网络、数据及用户活动的状态和行为等信息，是通过模式匹配、统计分析和完整性分析这三种手段进行分析的。前两种用于实时入侵检测，完整性分析用于事后分析。具体的入侵检测原理参见书本P134P135页。,4.2.2JUMP入侵检测系统的技术应用,现在许多著名的入侵检测设备商在开发入侵检测产品时不再是采用单一的数据分析技术，多数是采取集成的方式将几种主要的数据分析技术综合在一起应用。如著名的网络设备商JUMP（捷普）公司的网络入侵检测系统就采用了“状态协议分析技术+状态转换技术+统计分析技术”相结合的技术思路来解决入侵检测问题。下面首先介绍的是以JUMP的入侵检测系统为例进行的入侵检测原理介绍。1.采取基于状态协议分析的智能匹配算法JUMP入侵检测系统会首先对于收到的数据包进行协议解析，根据解析结果，将数据包分流到不同的检测方法集。这种匹配算法有效减少目标的匹配范围，因为它首先过滤了冗余数据，所以极大提高了入侵分析的效率，同时也使系统对攻击检测更加准确。连接状态特性分析，即不仅仅检测单一的连接请求或响应，而是将一个会话的所有流量作为一个整体来考虑。,2.采用基于状态转换分析技术来降低系统的误警率，并同时提高系统的检测精确性当前入侵检测系统普遍存在的问题是有极高的误警率，JUMP公司采用状态转换分析这种优化的模式匹配技术来对数据进行处理。这种方法采用状态转移的表达式来描述已知的攻击模式，匹配的是网络当前的状态变化，因此对于利用网络地址和协议进行欺骗的黑客攻击以及那些变体攻击和躲避技术都能迅速检测，使系统整体误警率很低。3.采用了基于统计分析的检测方法，对状态转换分析技术有益补充入侵系统产出误警报高的数据，往往就是那些预先定义的匹配特征数量较少的攻击模式，对于状态转换来说绝大多数就是那些只有一次状态转换的入侵模式。JUMP把这部分数据作为统计分析技术的数据源，应用基于概率统计的分析方法，定义入侵的判断阈值，检测数据当超过定义的阈值时就报警。经过层层的过滤，JUMP入侵检测系统就能给用户提供的是一个有高可用性和实际价值的产品。采用上面的检测技术后，JUMP网络入侵检测系统已经具有了全新定义的全面、准确、高效、快速等特点。使用以上三种技术的JUMP入侵检测系统应用结构如4-1图所示。,图4-1JUMP入侵检测系统主要检测技术应用结构,本节详细内容参见书本P135P137页。,4.3分布式入侵检测系统,由于传统入侵检测技术的种种不足，加上新型的分布式入侵和攻击行为的频繁出现，所以一种新型的入侵检测技术就诞生了，那就是分布式入侵检测系统（DIDS）。它包括两方面的含义：首先它是针对分布式网络攻击的检测方法；其次使用分布式方法检测分布式的攻击，其中的关键技术为检测信息的协同处理与入侵攻击的全局信息提取。4.3.1分布式入侵检测框架及检测机制随着高速网络的发展，网络范围的拓宽，各种分布式网络技术、网络服务的发展，使原来的网络入侵检测很难适应现在的状况。因此有必要把检测分析过程也实现分布化。在分布式结构中，n个检测器分布在网络环境中，直接接受sensor（传感器）的数据，有效的利用各个主机的资源，消除了集中式检测的运算瓶颈和安全隐患；同时由于大量的数据用不着在网络中传输，大大降低了网络带宽的占用，提高了系统的运行效率。,在安全上，由于各个监测器分布、独立进行探测，任何一个主机遭到攻击都不影响其他部分的正常工作，增加了系统的安全性。由于大部分检测工作都转移到各个相关主机上，每个detector利用数据库保存自己的状态及攻击特征知识库，受这些主机上资源的限制，并不能实现复杂的入侵检测功能。同时由于信息的分布，在针对高层次攻击像协同攻击上，需多个检测进行协同处理。因此在检测体系中往往考虑采用分层结构，利用多个detector组合形成一个高层次的检测结构，信息在该结构中层层检测，层层提炼。在树形分层体系中，最底层的检测器群体为collectionnodes（收集节点），负责收集所有的信息，并对信息进行最基本的处理，完成简单判断和处理任务。其特点是处理数据量大、速度快、效率高，但只能对简单的攻击进行检测。第二类节点是aggregationnodes（代理节点），起到承上启下的作用，每个节点都维持与之相连的下级节点链表，负责管理子节点和接收子节点处理后的数据，在进行高层次的关联分析、判断、输出判断结果。在收集节点与commandandcontrolnodes（命令与控制节点）中间加入代理节点，可减轻中央控制的负担，增强系统的可伸缩性。,4.3.2分布式入侵检测系统的协同机制,分布式DIDS协同作战的目的是让入侵检测充分考虑攻击行为的特征和网络安全的整体性与动态性，以提高入侵检测能力和网络系统的安全防护能力。协同的概念包括三层含义：数据采集协同、数据分析协同和响应协同。1.数据采集协同入侵检测需要采集动态数据和静态数据。基于网络的IDS，仅在网络层对原始的IP包进行检测，已不能满足日益增长的安全需求。基于主机的IDS，通过直接查看用户行为和操作系统日志数据来寻找入侵，却很难发现来自底层的网络攻击。在数据采集上进行协同并充分利用各层次的数据，是提高入侵检测能力的首要条件。2.数据分析协同数据分析协同需要在两个层面上进行：一是对一个检测引擎采集的数据进行协同分析，综合使用模式匹配和异常检测技术等，以发现较为常见的、典型的攻击行为；,二是对来自多个检测引擎的审计数据，利用数据挖掘技术进行分析，以发现较为复杂的攻击行为。3.响应协同在这一协同方面，又主要体现在以下几个方面：IDS与防火墙的协同其原理是通过在防火墙中驻留的一个IDSAgent对象，以接收来自IDS的控制消息，然后再增加防火墙的过滤规则，最终实现联动。IDS与防病毒系统的协同一方面，对越来越多来自网络的病毒攻击，IDS可能根据某些特征做出警告。另一方面，由于IDS本身并不是防病毒系统，对网络中的主机是否真的正在遭受计算机病毒的袭击并不能非常准确的预报。如果能与防病毒系统协同，就可有针对性的对IDS的病毒报警信息进行验证，对遭受病毒攻击的主机系统进行适当的处理。IDS与蜜罐系统协“蜜罐”是试图将攻击者从关键系统引诱开的诱骗系统。通过它就很可能检测到攻击者。本节详细内容参见书本P138P139页。,4.3.3开放式DIDS基本系统架构及设计考虑,从数据组织层次上，分布式入侵检测系统的体系结构由五个部分组成，如图4-2所示。,图4-2分布式入侵检测系统基本结构,IDS对入侵的检测分为防护和检测两个部分。一般可以把扫描系统集成到IDS系统中，这样系统对自己的内部网络以及提供的各种服务进行有效的扫描，发现常见的漏洞。,对于一个分布式系统，把扫描系统可以和安全网关结合在一起，或者单独拿出来作为一个系统模块，或者集成到IDS系统中，都是可以的。现在的大部分DIDS系统都是基于Agent（代理）的体系架构，这样一个开放的系统的Agent体系结构首先是满足可扩展性。MarkReillyandManreanStillman在他们的论文OpenInfrastructureforscalableIntrusionDectection中，给出了一个其于代理技术的分布式入侵检测系统的体系层次结构。如图4-3所示。设计DIDS系统时需要考虑的问题如下：DIDS系统由于是在分布式系统上面实现的，各个主机传送到中央处理的数据也许是有不同的格式。在异构的环境下面，要把不同的数据格式转换成统一的数据处理格式。网路数据传送的保密性和安全信，以及可认证性问题。由于采取的DIDS也是要通过内部网络，甚至是公共的交换网络通信，保密性和可认证性是不和分的。,服务器端采取什么样的数据采集方式。可以是主机自动在一定时间内向管理中心发送主机入侵情况报告，也可以是管理中心向各个主机轮询，得到数据。本节详细内容参见书本P139P140页。,图4-3基于代理的分布式入侵检测系统架构,4.4金诺网安入侵检测系统KIDS,金诺网安入侵检测系统KIDS是上海金诺网络安全技术股份有限公司自主研发的入侵检测系统，是国家“863”安全应急计划课题的延伸和发展。KIDS将主机入侵检测和网络入侵检测相结合，分别从计算机和网络的各个关键点收集违反安全策略的行为和被攻击的迹象，并且可根据用户的需要实时报警和响应。网络传感器从网络数据包发现入侵的痕迹主机；传感器对主机系统的系统活动信息日志信息进行分析，发现可疑行为；管理控制台对所有的传感器进行统一的集中式管理和监控。对网络和主机的专家式检测和防御扩展了系统管理员的监视攻击识别响应和安全审计等安全管理能力，而且系统管理员可以通过一台管理控制台实施对全网的安全监控和管理。金诺网安入侵检测系统既可防止来自外网的黑客入侵，也可制止来自内网的恶意行为误操作和资源滥用，提高了信息安全基础结构的完整性。,4.4.1金诺网安入侵检测系统简介,在管理和产品部署结构上，KIDS系统具有安装快捷，部署灵活，升级简便，维护成本低，可用性强等优点。另外，它采用了独有的SafeBoot专利技术，具有“即插即用”、“直接引导”和“防篡改”等优点。KIDS采用了智能的检测技术，综合了特征匹配、协议分析和流量异常监测等多种检测技术的优点；具有完善的攻击事件库，并与国际上标准的漏洞库CVE、BugTraq和Whitehats等保持兼容。KIDS能检测端口扫描、蠕虫病毒和各种拒绝服务攻击等具有“多会话形式”特点的攻击。KIDS具有完善的IP碎片重组和TCP重组机制，能有效地对抗fragrouter、whisker、stick等针对入侵检测的攻击。另外，KIDS通过采用协议状态分析方法，具有分析和判断些未知异常行为的能力；提供了多种分析工具，具有强大的安全事件追踪分析功能；采用了新一代包处理技术和协议分析算法，传感器具备强劲的流量处理引擎。,4.4.2KDIS模块组成,KDIS检测系统，具有如下功能模块：管理中心KMCKMC的组成结构如图4-4所示。,图4-4KMC组成,控制台（KIDSConsole/KC）事件处理器（KIDSEventProcessor/KEP）数据库管理工具（KIDSDatabaseTool/KDT）策略编辑器（KIDSPolicyEditor/KPE）响应器（KIDSResponder/KR）报表分析工具（KIDSReporterandAnalyzer/KRA）网络传感器（KIDSNetworkSensor/KNS）主机传感器（KIDSHostSensor/KHS）本节详细内容参见书本P141P143页。,4.4.3KDIS的主要功能,KDIS的主要功能如下:识别各种黑客攻击或入侵的方法和手段监控内部人员的误操作、资源滥用或恶意行为实时的报警和响应，帮助用户及时发现并解决安全问题核查系统漏洞及后门协助管理员加强网络安全的管理本节详细内容参见书本P143页。,4.4华强IDS,4.4.1华强IDS简介华强入侵检测系统是一套基于网络的分布式入侵检测系统。主要由两个部分组成：响应控制台和探测引擎。1.探测引擎探测引擎是安装在计算机局域网上的物理设备，如图4-5所示。它可以同时监控两个网段，主要功能是采集网络上的数据包信息，按照设定的规则过滤出相关的数据，对于入侵或非法登录实时报警或切断，同时向监控中心发送报警信息。,图4-5华强IDS探测引擎,探测引擎则是华强入侵检测系统运行的核心，它监听该引擎所在的物理网络上所有通信信息，分析这些网络通信信息，将分析结果与探测引擎上运行的策略集相匹配，依照匹配结果对网络信息的交换执行报警、阻断、日志等功能。同时它还需要完成对控制中心指令的接收和响应工作。探测引擎是由策略驱动的网络监听和分析系统。主控模块负责程序的初始化、管理策略、启动其它三个模块、管理采集到的数据、与子系统的通信；访问控制模块发现违规的网络连接时，向报警并切断连接。2.响应控制台控制台是整个网络预警监控系统的集中显示和控制软件系统，它负责接收分布在TCP/IP网络上的探测引擎传送的网络预警信息，处理这些信息，并提供报警显示，同时它还要负责控制探测器系统的运行状态，提供对预警信息的记录和检索、统计功能。通信模块负责与探测引擎以及监控中心的通信；监控策略管理模块管理和发布和的监控策略；采集信息显示模块显示和采集的信息。本节详细内容参见书本P143P144页。,4.4.2华强IDS的应用,对于不同的网络结构和应用目的，华强入侵检测系统安装方式和策略配置都应当有所不同。图4-6简单示例说明系统在简单集线器或交换机网络中基本网络应用网络结构。,图4-6华强IDS基本应用网络结构,华强入侵检测建议与防火墙配套使用，并结合网络安全扫描系统，构建安全的、全面的网络拓扑。图4-7所示的是华强入侵检测系统在用户中应用的一般网络结构图。,图4-7华强IDS应用方案结构,本节详细内容参见书本P144P145页。,4.6“冰之眼”网络入侵检测系统,“冰之眼”网络入侵检测系统是承绿盟科技公司的一款软、硬结合的入侵检测系统，图4-8是它的硬件部分。,图4-8“冰之眼”网络入侵检测系统设备,“冰之眼”网络入侵检测系统的主要功能如下：检测来自数千种蠕虫、病毒、木马和黑客的威胁。检测来自拒绝服务攻击的威胁。检测您的网络因为各种IMS（实时消息系统）、网络在线游戏导致的企业资源滥用。检测P2P应用可能导致的企业重要机密信息泄漏和可能引发与版权相关的法律问题。保障您的电子商务或电子政务系统24x7不间断运行。险期限提高企业整体的网络安全水平。降低企业整体的安全费用和对于网络安全领域人才的需求。迅速定位网络故障，提高网络稳定运行时间。,4.6.1产品架构,“冰之眼”入侵检测系统由网络探测器、SSL加密传输通道、中央控制台、日志分析系统、SQL日志数据库系统及绿盟科技中央升级站点几部分组成。相互关系如图4-9和图4-10两幅图连接而成。,图4-9冰之眼入侵检测系统组成-1,从以上两图所示结构中可以看出，冰之眼入侵检测系统所采用的主要检测技术和主要功能。,图4-10冰之眼入侵检测系统组成-2,4.6.2产品主要特性,“冰之眼”入侵检测系统具有非常丰富的入侵检测、入侵保护和入侵检测管理功能，并具有非常强劲的性能支持。1.主要入侵检测功能“冰之眼”入侵检测系统的主要检测功能如下：覆盖广泛的攻击特征库支持IP碎片重组与TCP流汇聚广泛的协议识别广泛的协议分析能力攻击结果判定协议异常检测拒绝服务检测2.性能支持“冰之眼”入侵检测系统在性能支持方面的主要特性包括：GIGAbit线速（Wire-Speed）和多监听口支持。,3.入侵保护“冰之眼”入侵检测系统在入侵保护方面的主要特性如以下：Collapsar：可最大限度地保护网络免遭拒绝服务攻击。TCPKiller：可实时地切断基于TCP协议的攻击过程。防火墙阻断：可以与超过10种防火墙产品的联合阻挡入侵者。这些防火墙包括ChecpointFW-1、Netscreen、天网等。4.入侵检测管理“冰之眼”入侵检测系统在入侵检测管理方面的主要特性如下：多层分布式集中监控多样化日志分类灵活的事件过滤系统攻击取样与取证网络流量监控,基于XML的开放式联动协议协议回放5.规则库管理“冰之眼”入侵检测系统在规则库管理方面的主要特性如下：支持用户自定义攻击描述与修复方法6.日志分析“冰之眼”入侵检测系统在日志分析方面的主要特性如下：可产生日志报表离线关联分析与归并支持日志备份与清除的零管理支持XML格式7.升级与技术支持“冰之眼”入侵检测系统在升级与技术支持方面的主要特性如下：支持实时在线升级多种升级方式,可配置更新周期8.自身安全性“冰之眼”入侵检测系统在自身安全性方面的主要特性如下：支持多权限多用户支持SSL传输兼容第三方软件本节内容较多，详细内容参见书本P146P149页。,4.7黑盾网络入侵检测系统（HD-NIDS）,黑盾网络入侵检测系统（HD-NIDS）是福建省海峡信息技术有限公司自行研制开发的分布式网络入侵检测软件系统。HD-NIDS是采用国际上先进的分布式入侵检测理论构架的高智能分布式入侵检测系统。其强有力的分布式Agent分散在每一个子网的旁路，全天候24小时监视各个子网络的通讯情况，及时捕获入侵和攻击行为，并予以报警、记录及实时响应。HD-NIDS代表着最新一代的网络安全技术，不仅具有完成基本的入侵侦测能力，更拥有国际上最先进的反IDS欺骗技术和反IDSflood技术，可以成功的将种种变形和欺骗一一捕获。,4.7.1HD-NIDS体系结构,HD-NIDS具有多层体系结构，由Agent（代理支）、Console（控制层）和Manager（管理层）三部分组成。Agent负责监视所在网段的网络数据包。将检测到的攻击及其所有相关数据发送给管理器。安装时应与企业的网络结构和安全策略相结合。Console负责从代理处收集信息，显示所受攻击信息，使你能够配置和管理隶属于某个管理器的代理。Ma