基于小波变换神经网络入侵检测系统的研究

1、目录摘要3abstract4第1章 绪论51.1课题的研究背景和意义51.2入侵检测的国内外现状分析51.3本文的研究内容和主要创新点61.4论文内容安排6第2章 入侵检测技术82.1入侵检测的概念82.2入侵检测的功能82.3入侵检测的组成与结构82.4现有的入侵检测分析技术102.4.1静态配置分析102.4.2异常检测技术102.4.3误用检测技术112.4.4入侵检测的发展方向13第3章小波神经网络153.1小波分析理论153.1.1小波分析方法的起源与提出153.1.2小波分析的应用153.1.3小波变换163.2人工神经网络理论173.2.1神经网络的基本理论183.2.2神经元的

2、结构模型183.2.3神经网络的一般框架183.3小波神经网络理论193.3.1小波神经网络的基本结构193.3.2小波神经网络学习算法203.3.3小波神经网络训练方法203.3.4 bp网络的训练及算法213.3.5小波网络与bp算法仿真对比22第4章 小波神经网络在入侵检测中的应用254.1入侵检测系统设计目标254.2小波神经网络入侵检测模型的设计264.3检测系统工作模式的应用274.4仿真试验与结果30结论35致谢36参考文献37摘要现今社会,internet已经受到人们越来越广泛的使用。各种网络服务，电子银行、电子商务、qq聊天等已经成为人们生活中重要组成部分。各种各样的网络攻击

3、也随着不断地增加。人们已经深刻认识到了保证网络安全的重要性。入侵检测作为一种主动的信息安全保障措施，能有效地弥补了传统安全防护技术的缺陷。通过构建动态的安全循环，可以最大限度地提高系统的安全保障能力，减少安全威胁对系统造成的危害，网络入侵检测系统成为一个重要的发展方向。本文通过利用小波变换在信号处理方面的时频分析特性和神经网络对任意非线性函数的逼近能力，提出了一种基于小波神经网络的入侵检测方法。用小波变换代替普通神经网络的激励函数，能有效地提高网络样本训练的效率和速度，在仿真结果中体现出较好的收敛速度和学习能力，比较适合用于入侵检测系统中。关键词： 入侵检测；小波分析；神经网络；小波神经网络。

4、abstracttoday, the network services, such as e-bank、qq and e-commerce are becoming the part of life. and all kinds of network attacks are increasing .people have realized the importance of network security.as a kind of active measure of imformation assurance, ids acts as an effective complement to t

5、raditional protection techniques. network intrusion detection system is becoming a great developing direction the dynamic security circle，including poicy，protection，detection and response，can greatly contribute to improving the assurance ability of information systems and reducing the extent of secu

6、rity threatsutilizing the ability of time-frequency analysis of the wavelet transform in signal processing and approximation of the neural networks towards any nonlinear function，a method of instrusion detection based on wavelet neural network is proposedreplacing ordinary neural network activation

7、functions by wavelet transform, the method can effectively improve the efficiency and speed of the network training samplesin the simulation，it reflects a good convergence and learning abilitykey words：intrusion detection；wavelet neural network；neural network；wavelet analysis.第1章 绪论1.1课题的研究背景和意义随着计算

8、机互联网技术的飞速发展，internet的普及，在计算机上处理业务已由单机处理功能发展到面向内部局域网、全球互联网的世界范围内的信息共享和业务处理功能，深刻地改变了人类的工作和生活方式。网络信息已经成为社会发展的重要组成部分。涉及到国家的政府、军事、经济、文教等诸多领域。其中存贮、传输和处理的信息有许多是重要的政府宏观调控决策、商业经济信息、银行资金转帐、股票证券、能源资源数据、科研数据等重要信息。有很多是敏感信息，甚至是国家机密。由于计算机网络组成形式多样性、终端分布广和网络的开放性、互联性等特征，致使这些网络信息容易受到来自世界各地的各种人为攻击(例如信息泄漏、信息窃取、数据篡改、数据删添

9、、计算机病毒等）。计算机网络安全已经变成一个国际化的问题，每年全球因计算机网络的安全系统被破坏而造成的经济损失达数百亿美元。2010年1月12日，国内最大搜索引擎网站百度遭到黑客攻击，域名被篡改，造成多地网民无法访问。而随着攻击工具和手法的日趋复杂多样，仅仅依靠传统的安全防范措施已经无法满足网络安全的需求，近两年频繁的网络黑客攻击事件也证明了这种观点。入侵检测系统就是在这样的背景下产生的。在入侵检测之前，大量的安全机制都是根据从主观的角度设计的，他们没有根据网络攻击的具体行为来决定安全对策。因此，它们对入侵行为的反应非常迟钝，很难发现未知的攻击行为，不能根据网络行为的变化来及时地调整系统的安全

10、策略。而入侵检测正是根据网络攻击行为而进行设计的，它不仅能够发现已知入侵行为，而且有能力发现未知的入侵行为，并可以通过学习和分析入侵手段，及时地调整系统策略以加强系统的安全性。1.2入侵检测的国内外现状分析目前在网络安全方面，国内的用户对防火墙已经有了很高的认知程度，而对入侵检测系统的作用大多不是非常了解。防火墙在网络安全中起到大门警卫的作用，对进出的数据依照预先设定的规则进行匹配，符合规则的就予以放行，起访问控制的作用，是网络安全的第一道闸门。优秀的防火墙甚至对高层的应用协议进行动态分析，保护进出数据应用层的安全。但防火墙的功能也有局限性。防火墙只能对进出网络的数据进行分析，对网络内部发生的

11、事件完全无能为力1。同时,由于防火墙处于网关的位置，不可能对进出攻击作太多判断，否则会严重影响网络性能。如果把防火墙比作大门警卫的话，入侵检测就是网络中不间断的摄像机，入侵检测通过旁路监听的方式不间断的收取网络数据，对网络的运行和性能无任何影响，同时判断其中是否含有攻击的企图，通过各种手段向管理员报警。不但可以发现从外部的攻击，也可以发现内部的恶意行为。所以说入侵检测是网络安全的第二道闸门，是防火墙的必要补充，构成完整的网络安全解决方案2。国外著名的入侵检测研究机构包括purdue university的coast （computer operations audit and security

12、 technology）研究小组，美国国家能源部的lawrence livermore national laboratoryuc davis的computer security lab等，都有一些自己的商业产品，但这些入侵检测产品的检测效果还不能很令人满意。现在，入侵检测技术的研究主要朝智能化和分布式两个方向前进2。国际顶尖的入侵检测系统主要以模式匹配检测技术为主，并结合使用异常检测技术。国际著名的检测系统产品有：blackice，snort，showdow和sri等。对于入侵检测的研究，从早期的审计跟踪数据分析，到实时入侵检测系统，到目前应用于大型网络的分布式检测系统，基本上已发展成为具有

13、一定规模和相应理论的研究领域。国内与国外相比较，国内在研究和开发都相对比较晚，产品间的差距还很大，总体发展比较慢，检测技术单一，大多以仿国外产品为主。但无论国外还是国内，在产品和检测手段都还不够成熟。国内在入侵检测方面也出现了有自己的产品包括：启明星辰公司的天阗入侵检测系统、安氏（中国）公司的linktrust入侵检测系统等。1.3本文的研究内容和主要创新点 本文将小波神经网络应用于入侵检测技术中，建立了新的基于小波神经网络的入侵检测模型，并进行仿真实验，最后用已知的攻击类型的数据源对网络进行训练和测试，实验结果说明，本文提出的基于小波神经网络模型，样本训练时间短，网络收敛速度快(网络收敛速度

14、是指神经网络训练过程中，它的训练误差减小的快慢)，检测准确率高，整体性能优于基于传统bp神经网络的入侵检测系统。并且利用小波神经网络技术改造snort入侵检测系统。通过把小波神经网络技术与snort系统相结合，尝试建立一种功能更全面的入侵检测系统模型，既可以精确判别入侵类别，又具有一定的对未知入侵、变种入侵的检测能力。1.4论文内容安排在神经网络的实际应用中，应用最广泛的是bp网络。它的一大缺点是当学习速度较小时，其缓慢的学习速度使得网络的学习失去了意义。学习速度过大又会使得误差函数不能收敛。本文采用小波神经网络入侵检测模型，在检测效果和学习速度上都有较大的提高。本论文的内容安排如下：第一章对

15、研究问题的背景做简单的介绍，概述了信息安全的重要性以及现有网络安全技术概况，提出本文的研究思路和内容安排。第二章介绍入侵检测技术。对入侵检测技术的基本概念和理论进行分析，包括入侵检测的原理、构成、分类，以及主要的入侵检测技术。第三章主要介绍了小波分析的基础知识，如：小波分析理论基础、小波分析的应用，小波变换等。人工神经网络方面的研究。主要介绍了人工神经网络的研究内容，人工神经网络构成的基本原理。最后通过总结bp神经网络和小波分析的特点，引出了小波神经网络相关定义，其中包括小波神经网络的基本结构，小波神经网络的算法和模型等。第四章介绍了小波神经网络在入侵检测中的应用，结合开源软件snort，提出

16、了两种模型，互补式和嵌入式入侵检测模型，并使用kddcup99数据对模型进行仿真测试。最后一章对全文进行总结。39第2章 入侵检测技术2.1入侵检测的概念1980年，james p.anderson第一次系统的阐述了入侵检测的概念，并将入侵行为分为外部滲透、内部滲透和不法行为三种，还提出了利用审计数据监视入侵活动的思想。即其之后,1986年dorothy e.denning提出实时异常检测的概念并建立了第一个实时入侵检测模型，命名为入侵检测专家系统(ides)，1990年，l.t.heberlein等设计出监视网络数据流的入侵检测系统，nsm( network security monitor

17、）3。自此之后，入侵检测系统才真正发展起来。anderson将入侵尝试或威胁定义为：潜在的、有预谋的、未经授权的访问信息、操作信息、致使系统不可靠或无法使用的企图。而入侵检测的定义为：发现非授权使用计算机的个体(如“黑客”)或计算机系统的合法用户滥用其访问系统的权利以及企图实施上述行为的个体。执行入侵检测任务的程序即是入侵检测系统。2.2入侵检测的功能（1）入侵检测（intrusion detection）技术是一种动态的网络检测技术，主要用于识别对计算机和网络资源的恶意使用行为，包括来自外部用户的入侵行为和内部用户的未经授权活动。一旦发现网络入侵现象，则马上做出适当的反应。对于正在进行的网络

18、攻击，则采取适当的方法来阻断攻击（与防火墙联动），以减少系统损失。对于已经发生的网络攻击，则应通过分析日志记录找到发生攻击的原因和入侵者的踪迹，作为增强网络系统安全性和追究入侵者法律责任的依据。它从计算机网络系统中的若干关键点收集信息，并分析这些信息，看看网络中是否有违反安全策略的行为和遭到袭击的现象。(2)入侵检测系统（ids）也可以定义为：检测企图破坏计算机资源的完整性，真实性和可用性的行为的软件。入侵检测系统执行的主要任务包括：监视、分析用户及系统活动；审计系统构造和弱点；识别、反映已知进攻的活动模式，向相关人士报警；统计分析异常行为模式；评估重要系统和数据文件的完整性；审计、跟踪管理操

19、作系统，识别用户违反安全策略的行为。入侵检测一般分为三个步骤：信息收集、数据分析、响应。入侵检测的目的：1)识别入侵者；2)识别入侵行为；3)检测和监视以实施的入侵行为；4)为对抗入侵提供信息，阻止入侵的发生和事态的扩大。2.3入侵检测的组成与结构入侵检测系统（intrusion detection system，ids）是实现入侵检测功能的硬件与软件组合而成。入侵检测基于这样一个假设，即：入侵行为与正常行为有显著的不同，因而是可以检测的。入侵检测系统通常处于防火墙之后对网络活动进行实时检测。许多情况下，由于可以记录和禁止网络活动，所以入侵检测系统是防火墙的延续。它们可以和你的防火墙和路由器配

20、合工作。 一个入侵检测系统分为四个组件（如图2-1所示），即cidf模型（common intrusion detection framework）：cidf阐述了一个入侵检测系统（ids）的通用模型。它将一个入侵检测系统分为以下组件：事件产生器（event generators），用e盒表示；事件分析器（event analyzers），用a盒表示；响应单元（responseunits），用r盒表示；事件数据库（event databases），用d盒表示。 1）事件产生器（event generater， e-box）收集入侵检测事件,并提供给ids其他部件处理，是ids的信息源。事件包含

21、的范围很广泛既可以是网络活动也可是系统调用序列等系统信息。事件的质量、数量与种类对ids性能的影响极大。 2）事件分析器（analysis engine, a-box）对输入的事件进行分析并检测入侵。许多ids 的研究都集中于如何提高事件分析器的能力,包括提高对已知入侵识别的准确性以及提高 发现未知入侵的几率等。3） 事件数据库（event database, d-box）e-boxes 和 a-boxes 产生大量的数据，这些数据必须被妥善地存储，以备将来的使用。d-box的功能就是存储和管理这些数据,用于ids 的训练和证据保存。 4）事件响应器（response unit, r-box）

22、对入侵作出响应，包括向管理员发出警告，切断入侵连接，根除入侵者留下的后门以及数据恢复等。 图2-1 cidf模型结构图cidf模型的结构如下：e盒通过传感器收集事件数据，并将信息传送给a盒，a盒检测误用模式；d盒存储来自a、e盒的数据，并为额外的分析提供信息；r盒从a、e盒中提取数据，d盒启动适当的响应。a、e、d及r盒之间的通信都基于gido（generalized intrusion detection objects，通用入侵检测对象）和cisl（common intrusion specification language，通用入侵规范语言）。如果想在不同种类的a、e、d及r盒之间实现

23、互操作，需要对gido实现标准化并使用cisl。2.4现有的入侵检测分析技术入侵检测主要采用的技术分为：静态配置技术、异常检测技术和误用检测技术，另外还有一种新的思想是基于系统关键程序的安全规格方法及通过构架陷阱进行入侵检测。2.4.1静态配置分析静态配置分析4是通过检查系统的当前系统配置，诸如系统文件的内容或系统表，来检查系统是否已经或者可能会遭到破坏。静态是指检查系统的静态特征（系统配置信息），而不是系统中的活动。采用静态分析方法主要有一下几个方面的原因：入侵者对系统攻击时可能会留下痕迹，这可通过检查系统的状态检测出来；系统管理员以及用户在建立系统时那面会出现一些错误和遗漏一些系统的安全性

24、缺陷。另外，系统在遭受攻击之后，入侵者也可能在系统中安装一些安全性后门以方便后续对系统的进一步攻击。对系统的配置信息进行静态分析，就可以及早发现系统中潜在的安全性问题，并采取相应的措施来补救。但这种方法需要对系统的缺陷尽可能地了解；否则，入侵者只需要简单地利用那些安全系统未知的缺陷就可以避开检测系统。2.4.2异常检测技术 入侵检测的异常检测技术（anomaly detection）是一种在不需要操作系统及其安全性缺陷的专门知识的情况下，就可以检测入侵者的方法，同时它也是检测冒充合法用户的入侵者的有效方法。但是，在许多环境中，为用户建立正常行为模式的特征轮廓以及对用户活动的异常性进行报警的门限

25、值的确定都是比较难的事。因为并不是所有入侵行为都能产生异常性，所以在入侵检测系统中，仅使用异常性检测技术不可能检测出所有的入侵行为。有经验的入侵者还可以通过缓慢的改变它的行为，来改变入侵检测系统中用户正常行为模式，使其入侵行为逐步变为合法，这样就可以避开使用异常性检测技术的入侵检测系统的检测。denning5于1986年给出一个基于用户特征轮廓（profile）的入侵检测系统模型。基本思想是：通过对系统审计数据的分析建立起系统主体（单个用户、一组用户、主机、，甚至是系统中的某个关键的程序和文件等）的正常行为特征轮廓；检测时，如果系统中的审计数据与已建立的主体的正常行为特征有较大出入就认为是一个

26、入侵行为。特征轮廓是借助主体登陆的时刻、登陆的位置、cpu的使用时间以及文件的存取等属性，来描述它的正常行为特征。当主体的行为特征改变时，对应的特征轮廓也相应改变。目前，这类入侵检测系统多采用统计或基于规则描述的方法建立系统主体的行为特征轮廓。（1）统计性特征轮廓统计型特征轮廓通过某个被监控的行为属性变量的统计概率分布来描述系统行为的轮廓特征，由主体特征变量的频度、均值以及偏差等统计量来描述。在基于统计性特征轮廓的异常性检测器中，使用统计的方法来判断审计与主体正常行为的偏差。sri的nides（next generation real-time intrusion detection expe

27、rt system，早期版本为ides）就是一个基于统计型特征轮廓的异常性检测系统。这种方法对特洛伊木马（troja horse）以及欺骗性的应用程序的检测非常有效。（2）基于规则描述的特征轮廓基于规则描述的特征轮廓则是一组用于描述主体每隔特征的合法取值范围与其他特征的取值之间关系的规则。这些规则原则上可以通过分析主体的历史活动记录自动生成。但如何选择能精确描述主体的正常行为与入侵行为的属性，则是一个很困难的问题。tim（the time-based inductive machine）就是一个基于规则的异常检测系统，tim使用归纳方法来生成规则，这些规则在系统的学习阶段可以动态地修改。如果通

28、过观测大量地规则，这些规则具有较高的预测性或能够被确认，则把他们放入到规则库中。系统采用信息熵的模型计算规则的预测概率。该方案还可以采用大型数据库中提取规则的数据挖掘（data mining）技术，从大量的系统审计数据中提取出描述用户特征轮廓的规则集。（3）神经网络方法神经网络具有自学习、自适应的能力，因而，在基于神经网络模型的入侵检测系统中，只要提供系统的审计数据，神经网络就可以通过自学习从中提取正常用户或系统活动的特征模式，而不需要获取描述用户行为特征的特征集以及用户行为特征测度的统计分布。因此，避开了选择统计特征的困难问题，使如何选择一个好的主体属性子集的问题成为一个不相关的事，从而使其

29、在入侵检测中也得到很好的应用。实际应用时，首先根据用户正常行为的样本模式对神经网络进行学习训练；完成训练后，神经网络接受用户活动的数据并判断它与经训练产生的正常偶是的偏离程度来判别是否产生了非法行为。目前，这种方法还很不成熟。2.4.3误用检测技术误用检测技术（misuse detection）通过检测用户行为中的那些与某些已知的入侵行为模式类似的行为或那些利用系统中缺陷或是间接地违背系统安全规则的行为，来检测系统中的入侵活动，是一种基于已有的知识的检测。目前基于知识的入侵检测系统只是在表示入侵模式的方式以及在系统的审计中检查入侵的机制上有所区别。主要可以分成以下几类：基于专家系统、状态转换分

30、析和模式匹配的入侵检测系统。基于知识的入侵检测技术的优势：如果检测器的入侵特征模式库中包含一个已知入侵行为的特征模式，就可以保证系统在受到这种入侵行为攻击时能够把它检测出来。目前，主要是从以知的系统缺陷来提取入侵行为的特征模式，加入到检测器入侵行为特征模式库中，来避免系统以后再遭受同样的入侵攻击。但是，对于一种入侵行为的变种（利用同样的系统缺陷、同样的攻击原理等）却不一定要检测出来。这种入侵检测技术的主要局限在于它只是根据已知的入侵序列和系统缺陷的模式来检测系统中的可疑行为，而不能处理对新的入侵攻击行为以及未知的、潜在的系统缺陷的检测。（1） 专家系统早期的入侵检测系统多数采用专家系统来检测系

31、统中的入侵行为。nides、w&s、nadir6等系统的异常性检查器中都有一个专家系统模块。在这些系统中，入侵行为被编制成专家系统的规则。每个规则具有“if条件then动作”的形式；其中条件为审计将记录中某个域上的限制条件，动作表示规则被触发时入侵检测系统所采取的处理动作，可以是一些新事实的判定或是提高某个用户行为的可疑度。这些规则可以识别单个审计事件，也可以识别表示一个入侵行为的一系列事件。专家系统可以自动地解释系统的审计记录并判断他们是否满足描述入侵行为的规则。但是，使用专家系统规则表示一系列的活动不具有直观性，除非由专业的知识库程序员来做专家系统的升级工作，否则规则的更新是很困难的，而且

32、使用专家系统分析系统的审计数据也是很低效的。此外，使用专家系统规则很难检测出对系统的协调攻击。（2） 状态转换分析技术一个入侵行为就是由攻击者执行的一系列的操作，这些操作可以使系统从某些初始状态转换到一个可以威胁系统安全的状态。这里的状态是指系统某一时刻的特征，它可以由一系列系统属性来描述。初始状态对应于入侵开始时的系统状态，危机系统安全的状态对应于已成功入侵时刻的系统状态；在这两个状态之间可能有一个或多个中间状态的迁移。在识别出初始状态、威胁系统安全的状态后，主要应分析在者两个状态之间进行状态转换的关键活动，这些转换信息可以用状态迁移图来描述或用于生成专家系统的规则，从而用于检测系统的入侵活

33、动。但是，状态 转换是针对时间序列分析，所以不善于分析过分复杂的事件，而且不能检测与系统状态无关的入侵。（3） 模式匹配的方法sandeep kumar 给出的模式识别的入侵检测方法可以处理以下四种类型的入侵行为：、1) 通过审计某个事件的存在性即可以确定的入侵行为。2) 根据审计某一事件序列的顺序出现即可识别的入侵行为。3) 根据审计某一具有偏序关系的事件序列的出现可以识别的入侵行为。4) 审计的事件序列发生在某以确定的时间间隔或持续的时间在一定的范围，根据这些条件就可以确定的入侵行为。这个模型目的是把入侵检测的问题转化成模式匹配的问题：系统的审计被视为抽象的事件流，入侵行为检测器是模式匹配

34、器。使用模式识别是因为模式识别比较成熟，而且在构造一个系统时可以围绕它的实用性和有效性做一些优化。因此，检测入侵者时用模式匹配技术比使用专家系统更有效。2.4.4入侵检测的发展方向随着入侵检测技术的发展，成型的产品已陆续应用到实践中。人们在完善原有技术的基础上，又在研究新的检测方法，如数据融合技术，主动的自主代理方法，智能技术以及免疫学原理的应用等7。其主要的发展方向可概括为：（1）分布式入侵检测与通用入侵检测架构 传统的ids一般局限于单一的主机或网络架构，对异构系统及大规模的网络的监测明显不足。同时不同的ids系统之间不能协同工作能力，为解决这一问题，需要分布式入侵检测技术与通用入侵检测架

35、构。 （2）应用层入侵检测 许多入侵的语义只有在应用层才能理解，而目前的ids仅能检测如web之类的通用协议，而不能处理如lotus notes、数据库系统等其他的应用系统。许多基于客户、服务器结构与中间件技术及对象技术的大型应用，需要应用层的入侵检测保护。 （3）智能的入侵检测 入侵方法越来越多样化与综合化，尽管已经有智能体、神经网络与遗传算法在入侵检测领域应用研究，但是这只是一些尝试性的研究工作，需要对智能化的ids加以进一步的研究以解决其自学习与自适应能力。 （4）入侵检测的数据融合技术目前的ids还存在着很多缺陷。首先，目前的技术还不能对付训练有素的黑客的复杂的攻击。其次，系统的虚警率

36、太高。最后，系统对大量的数据处理，非但无助于解决问题，还降低了处理能力。数据融合技术是解决这一系列问题的好方法。入侵检测产品仍具有较大的发展空间，从技术途径来讲，我们认为，除了完善常规的、传统的技术（模式识别和完整性检测）外，应重点加强统计分析的相关技术研究。 第3章小波神经网络3.1小波分析理论3.1.1小波分析方法的起源与提出小波分析 (wavelet analysis) 8是 20世纪80年代中期发展起来的一门数学理论和方法，由法国科学家 grossman 和 morlet 在进行地震信号分析时提出的，随后迅速发展。1985年 meyer 在一维情形下证明了小波函数的存在性 ,并在理论上

37、作深入研究。mallat基于多分辨分析思想，提出了对小波应用起重要作用的mallat算法，它在小波分析中的地位相当于fft 在经典fourier变换中的地位。小波分析理论的重要性及应用的广泛性引起了科技界的高度重视。小波分析的出现被认为是傅立叶分析的突破性进展，在逼近论、微分方程、模式识别、计算机视觉、图像处理、非线性科学等方面使用小波分析取得于许多突破性进展。小波变换的基本思想类似于fourier变换，就是用信号在一簇基函数形成空间上的投影表征该信号。经典的fourier 变换把信号按三角正、余弦基展开，将任意函数表示为具有不同频率的谐波函数的线性迭加，能较好地描述信号的频率特性，但它在空域

38、（时域）上无任何分辨,不能作局部分析。这在理论和应用上都带来了许多不足。为了克服这一缺陷，提出了加窗fourier变换。 通过引入一个时间局部化“窗函数”改进了fourier变换的不足，但其窗口大小和形状都是固定的，没有从根本上弥补fourier变换的缺陷。而小波变换在时域和频域同时具有良好的局部化性能，有一个灵活可变的时间-频率窗，它与fourier变换、加窗fourier变换相比，能更有效的从信号中提取信息，通过伸缩和平移等运算功能对函数或信号进行多尺度细化分析（multiscale analysis），解决了fourier变换不能解决的许多困难问题，从而小波变化被誉为“数学显微镜”，它是

39、调和分析发展史上里程碑式的进展。3.1.2小波分析的应用小波分析的应用是与小波分析的理论研究紧密地结合在一起的。现在，它已经在科技信息产业领域取得了令人瞩目的成就。电子信息技术是六大高新技术中重要的一个领域，它的重要方面是图象和信号处理。现今，信号处理已经成为当代科学技术工作的重要部分，信号处理的目的就是：准确的分析、诊断、编码压缩和量化、快速传递或存储、精确地重构（或恢复）。从数学地角度来看，信号与图象处理可以统一看作是信号处理（图像可以看作是二维信号），在小波分析许多应用中，都可以归结为信号处理问题。现在，对于其性质随实践是稳定不变的信号，处理的理想工具仍然是傅立叶分析。但是在实际应用中的

40、绝大多数信号是非稳定的，而特别适用于非稳定信号的工具就是小波分析。(1)小波分析用于信号与图象压缩是小波分析应用的一个重要方面。它的特点是压缩比高，压缩速度快，压缩后能保持信号与图象的特征不变，且在传递中可以抗干扰。基于小波分析的压缩方法很多，比较成功的有小波域纹理模型方法，小波变换零树压缩，小波变换向量压缩等。 (2)小波在信号分析中的应用也十分广泛。它可以用于边界的处理与滤波、时频分析、信噪分离与提取弱信号、求分形指数、信号的识别与诊断以及多尺度边缘检测等。 (3)在工程技术等方面的应用。包括计算机视觉、计算机图形学、曲线设计、湍流、远程宇宙的研究与生物医学方面。3.1.3小波变换小波变换

41、和傅里叶变换的出发点都是将信号表示成基本函数的线性组合，所不同的是傅里叶变换采用时间属于（- ，+）的谐波函数作为基函数，而小波变换的基函数具有紧支集的母函数,通过对母函数进行伸缩和平移得到一个小波序列： （3-1）其中a为伸缩因子，b为平移因子。对于任意函数的连续小波变换为：， （3-2）其重构公式（逆变换）为： （3-3）基本小波函数的选取很重要，常常取决于实际应用。小波函数在几何形状上一般都具有两个基本特征：必须是震荡函数和迅速收敛的函数。在选取或自己构造小波函数时，必须遵循以上两个准则。尺度因子和平移因子的不同会给小波函数的几何形状带来很大的变化。 (1)连续小波变换9小波具有震荡特性

42、、能够迅速衰减到零的一类函数。由前知，满足允许条件的函数称为基小波，其伸缩和平移构成一簇函数系： （3-4）式中，称子小波；a为尺度因子或频移因子，b为时间因子或平移因子。对于能量有限信号，其连续小波变换定义为： （3-5）式中，为 的复共轭函数。（3-5）式说明小波变换是对信号用不同滤波器进行滤波。由于t、a、b都是连续的变量，式（3-5）称为连续小波变换。如果满足相容条件: ,其中为的ft。对于信号连续小波变换可重构： （3-6）当a较小时，时域上观察范围小，而在频率上相当于用较高频率作分辨率较高的分析，即用高频小波作细致观察。当a较大时，时域上观察范围大，而在频率上相当与用低频作概貌观察

43、。（2）离散小波变换在实际运用时，需将连续小波变换离散化处理。一是信号（时间序列）本身是离散情况，如为取样时间间隔），则式（3-5）的离散形式为： （3-7）令一种情况是将尺度参数a和平移参数b离散化，即取则信号的离散小波变换为： （3-8）当时，式(3-8)变为二进小波变换： （3-9）3.2人工神经网络理论3.2.1神经网络的基本理论人工神经网络10 (artifciail neural network，ann)是在人类对其大脑神经网络认识理解的基础上人工构造的能够实现某种功能的神经网络。它是理论化的人脑神经网络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。实际上是

44、由众多神经元相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。3.2.2神经元的结构模型神经元是神经网络的基本处理单元，它包含加权求和模拟细胞体和处理输出信号两部分，一般是一种多输入/单输出的非线形系统，它的主要功能是传递和处理信息。1934年，由美国心理学家mcculloch数学家pitts共同建立的，被称为人工神经元模型。图3-1为人工神经元的数学模型。 图3-1 神经元的数学模型其中输入向量，y为输出，是权系数;输入与输出具有如下关系： 为阈值，f（x）是激发函数；它可以是线性函数，也可以是非线性函数。例如，若记 ，取激发函数为符号函数，则s型激发函

45、数： ，；或，。3.2.3神经网络的一般框架任何一个神经网络模型都由处理单元（processing units)即神经单元组成。每一个处理单元都具备三个基本的处理功能，即接受输入、对输入值进行处理、计算输出。各个神经元之间通过相互连接形成一个网络拓扑结构，这个网络拓扑的形式称为神经网络的互联模式。对于神经网络模型来说，连接模式很重要，他构成整个神经网络的知识，也决定了神经网络模型对任一输入的响应方式。如此众多复杂的连接，也正是神经网络模型具有强大计算能力的基础。神经网络中各个神经网络之间的连接并不只是一个单纯的传送信号的通道，而是在每对神经元之间的连接上有一个加权系数起着生物神经系统中神经元的

46、突触强度的作用，它可以加强或减弱一个神经元的输出对下一个神经元的刺激。这个加权系数通常称为权值。神经网络模型可以通过学习(1earning)来动态修改各处处理单元之间连接的权值。某一项的模式记忆都能根据某一学习规则(1earning rule)，通过修改处理单元之间连接的权值存储到神经网络模型中，并通过学习后的神经网络模型也能识别新的模式或回忆过去的记忆。3.3小波神经网络理论小波神经网络是近年来在小波分析研究取得突破的基础上提出的一种前馈型网络它结合了小波变换良好的时频局域化性质及神经网络的自学习功能，它有很好的逼近、容错特性。小波分析和神经网络得到了广泛的研究，是在bp神经网络的基础上，考

47、虑和分析了bp神经网络的激励函数的特点，以及bp神经网络的结构，结合了小波分析的知识而构造的。3.3.1小波神经网络的基本结构1松散型结合11小波分析仅作为神经网络的前置处理手段，为神经网络提供输入特征向量，即小波分析对神经网络的输入进行初步处理，使得输入神经网络的信息更易于神经网络进行处理。2融合型结合小波和神经网络直接融合，即小波元代替神经元。它是将常规神经网络的隐含层函数用小波函数来代替，相应的输入层到隐含层的权值及隐含层阈值分别有小波函数的尺度和平移参数所代替。根据基函数和学习参数的不同选取，小波神经网络又可分为3种形式的网络：（1）连续参数的小波神经网络 这种小波神经网络类似于径向基

48、函数神经网络，但借助于小波分析理论，可使网络具有较简单的拓扑结构和较快的收敛速度，但由于尺度和平移参数均可调，使其与输出为非线性关系，通常需利用非线性优化方法进行参数修正，易带来类似bp网络参数修正时存在局部极小的弱点。（2）由框架作为基函数的小波神经网络由于不考虑正交性，小波函数的选取尺度有很大自由度，网络的可调参数只有权值，其与输出呈线性关系，可通过最小二乘法或其他优化法修正权值，使网络能充分逼近目标。这种形式的网络虽然基函数选取灵活，但由于框架可以是线性相关的，使得网络函数的个数有可能存在冗余，对过于庞大的网络需要考虑优化结构的算法。（3）正交基小波网络 网络隐节点由小波函数节点和尺度函

49、数节点构成，尽管正交小波网络在理论上研究较为方便，但是正交基函数的构造复杂，不如一般的基于框架的小波网络使用。3.3.2小波神经网络学习算法小波分析和神经网络的结合有下述两种途径：1)松散型结合，即小波分析作为神经网络的前置处理手段，为神经网络提供输入特征向量；2）融合型结合，即小波分析和神经网络直接融合，以小波函数形成神经元。采用了融合型小波神经网络结构，即在一个径向函数（radial basis function，rbf）神经网络中，各隐层激活函数由一个小波函数系构成。从输入层输入的矢量信号x经过中间层网络激励函数映射，得到一组小波基函数，, 表达的神经元变换。该组变换再经过与变换系数的相

50、乘运算，最后由输出层求和输出。在给定输入/输出时，可用于逼近相应的输入/输出关系。融合型结合-分类式小波神经网络。小波特征分类器表示：,其中表示第n次训练输出结果，m表示输入层直接的连接权值，k表示隐层单元数，以表示隐层第k个单元与输入层之间的连接权值，而为sigmoid函数。采用morlet母小波，有。3.3.3小波神经网络训练方法 （1）初始化网络参数为伸缩因子和平移因子，以及网络连接权重赋以随机的初始值； （2）输入学习样本矢量及相应的期望输出d；（3）网络自学习，利用当前网络参数计算出网络的输出 （4）计算瞬时梯度，令则瞬时梯度分别为： （5）误差反向传播,在网络训练过程中令调整参数有

51、：当误差函数小于预先设定的某个值，则停止网络学习，否则返回输入学习样本矢量步骤。以上步骤不断进行，使网络表示出较强的灵活性和较高的逼近能力12。3.3.4 bp网络的训练及算法bp网络的训练过程也是根据样本集对神经元之间的联接权进行调整，和其它人工神经网络一样由于bp网络按有导师训练的方式进行学习，所以它的样本集是由形如(输入向量，期望输出向量)的向量对构成。开始训练前，所有的权值应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因为权过大而进入饱和状态，从而导致训练失败；“不同”可以保证网络可以正常地学习。 bp算法主要有4步，这4步被分为两个阶段:1. 向前传播阶段（1） 从

52、样本集中取一个样本，将输入网络；（2）计算相应的实际输出，即 2.向后传播阶段（1）计算实际输出与相应的理想输出的差；（2）按极小化误差的方式调整权重。这两个阶段的工作一般应受到精度要求的控制，在这里，取 作为网络关于第p个样本的误差测度。而将网络关于整个样本集的误差测度定义为 按照最速下降法，为使e达到极小点，则有权值改变量与e关于增长率的负值成正比，可表示为 第一阶段是信号正向传播过程:当一对学习样本提供给网络后，神经元的激活值从输入层经各隐含层向输出层传播，在输出层的各神经元获得网络的输入响应；第二阶段是误差修正逆向传播过程;若在输出层未得到期望的输出值.则逐层递归地计算实际输出与期望输

53、出之间的误差，按减小期望输出与实际输出的误差方向，从输出层经各隐含层逐层修正各连接权，最后回到输入层，故得名“误差逆传播学习算法”。随着这种误差逆传播修正地不断进行，网络对输入模式响应的正确率也不断提高。误差反向传播神经网络采用bp算法进行训练和学习，该算法利用了均方误差和梯度下降法来实现对网络连接权的修正，修正的目标是使网络实际输出与规定输出之间的均方误差最小。bp算法的缺点是训练时间过长且容易陷入局部最小或产生震荡。3.3.5小波网络与bp算法仿真对比基于小波网络算法的入侵检测模型的仿真程序13采用maltab7.0 进行编程,训练样本数据和测试数据都选用经过预处理过的数据。下面就详细的说

54、明一下仿真程序的实现过程。设隐含层和输出层神经元激活函数分别为、 (如前所述，为小波函数为sigmoid函数)。首先定义程序里主要数据结构，即w(h ，i) 输入层与隐含层之间的权值矩阵；ww(m，h) 隐含层与输出层之间的权值矩阵；a(h，l) 隐含层的尺度参数向量；b(h，1) 隐含层的平移参数向量；ew(h，i) 输入层与隐含层间权值的梯度向量矩阵；eww(m，h) 隐含层与输出层间权值的梯度向量矩阵；ea (h，i) 尺度参数的梯度向量矩阵；eb(h，i)一平移参数的梯度向量矩阵；x(p，i)一输入样本向量；net1(p，h) 隐含层节点输入向量net2(p，h) 隐含层节点输出向量；

55、y(p，m) 网络的实际输出向量；d(p，m) 网络的理想输出向量；(a)首先输入训练样本向量x（p，i）和网络期望输出向量d(p，m),对数值不在0，1范围的特征项归一化预处理。(b)小伪随机数初始化w,ww,a，b。初始化精度控制参数目标误差为error=0.001，学习率eta=o.55，动量因子c=0.01。（c）循环控制参数err=error+1，循环最大次数n=1000，循环次数控制参数epoch=1；（d）while （errerror）and（epochn）do epoch=epoch+1；对于每一个样本(x，d)执行如下操作：计算网络输出y: net1=x*w，net2= (

56、net1-b)/a)，y=(ww*net2)计算网络的输出误差:err=err+0.5(d-y)2；根据不同的算法,分别计算ew，eww, ea,eb的值；end。(e)当执行到某次循环的时候，如果或者的时候，循环结束,网络训练完毕，画出误差曲线图。反之继续执行。网络学习达到既定的目标以后，对网络进行性能测试。测试的方法是选择测试样本向量，将其输入到训练好的网络，检验网络对其分类的正确性。下图分别是小波神经网络和bp网络的训练对比图。采用的是matlab70实验环境。实验数据参照附录。图3-2 bp神经网络训练数据收敛图图3-3 小波神经网络训练数据收敛图由图3-2和图3-3可以看出，小波神经网络在数据训练到274次以后就开始收敛，而bp神经网络在数据达到476次以后才出现收敛情况。这说明小波神经网络有更好的训练速度，用于入侵检测中去能更好的节约时间提高系统的效率。第4章 小波神经网络在入侵检测中的应用4.1入侵检测系统设计目标本入侵检测系统设计目标的主要思想是利用开源软件snort(本系统属于基于网络的入侵检测系统)