一种多标记学习的入侵检测算法

一种多标记学习的入侵检测算法

多标记学习是一门新的机器学习领域，已在文档分类中得到成功应用。1多线学习1.1问题定义在多标记学习中,1个对象用1个示例表示,且该示例可以同时对应多个类别标记多标记学习一般采用的评价指标1.2算法适应法多标记学习算法多标记学习主要的解决途径有问题转化法和算法适应法。问题转换法是通过对多标记训练样本进行处理,将多标记学习问题转换为其他已知的学习问题(如传统的单标记学习问题)进行求解。算法适应法是通过改进传统的监督学习算法,使其能用于多标记数据的学习;代表性的算法有ML-KNN和Rank-SVM。入侵检测可看作二分类问题,即正常记录和异常记录。本文结合以上2种方法,将ML-KNN算法应用于入侵检测,并将入侵数据集中记录分为正常和异常,即多个独立的二分类问题,以构造多标记学习系统,提高入侵检测性能。2半监督学习半监督学习的基本思想为:假定一个存在一个未知分布的有标记数据集L={(x半监督学习3基于ml-knn入侵检测算法3.1ml-knn算法ML-KNN算法给定样本x及其对应的标记集合y⊆Y,假定算法共取k个近邻。令y对于每个测试实例t,ML-KNN算法首先确定它在训练集合中的k个近邻组成的集合N(t)。令H根据贝叶斯规则,(2)式可以改写为:根据(3)式可知,可以直接通过统计计算的方法从训练集合中得到预测标记向量y其中,T为训练数据集;k为近邻的数目;t为一个实例;y3.2多标记学习评价模块的软件设计入侵检测可看作二分类问题,因此正常记录标记为(+1,-1),入侵记录标记为(-1,+1)。原有的ML-KNN算法是针对多标记学习的,算法中包含了多标记学习评价指标,而本文侧重于入侵检测,因此将算法根据入侵检测评价指标进行部分改进。删除有关多标记学习评价指标的代码,修改主程序ML-KNN输入:训练数据集T,T对应的标记集合T′,测试数据集t,t对应的标记集合t′,近邻数目k,平滑参数s。输出:测试数据集t的预测标记集合向量y(1)对于ue420t(3)计算后验概率P(E(4)根据步骤(1)和步骤(3)的结果,结合(3)式得出t(5)比较预测标记集合向量y4实验与分析为了研究多标记学习理论对入侵检测率性能的影响,实验采用了KDDCUP99中的corrected.gz数据集4.1连续型变量剩余变量每条数据由41个特征属性和1个决策属性构成。决策属性是每条数据的所属类别,在测试时仅作为判断条件。其余41个属性可分为基本属性集、内容属性集、流量属性集和主机流量属性集。41个属性中有8个属性是离散型变量,剩余为连续型变量。为了使数据符合实验要求,需要对数据进行预处理。数据的预处理包括符号型数据的数据化处理和数值数据的标准化处理2个步骤。由于每条数据含有3个符号型属性,实验时应将其转化为数值属性,3个符号型属性分别为protocol原始数据记录经过上述处理后,所有属性均变为数值,但仍存在问题。对于连续型的属性特征,不同的属性特征有不同的度量标准,会产生大数吃小数的问题。数据的某些属性特征将被掩盖。为了解决该问题,必须将数据的特征属性值进行标准化,进行如下变换其中,为了方便对数据进行操作,实验时把所有数据放到excel表格中,使用xlsread命令导入Matlab中,此时数据经过数值化并归一化后可以直接用于测试。4.2标记算法实验结果入侵记录主要分为4种:1扫描与探查(probe);2拒绝服务(dos);3对本地超级用户的非法访问(U2R);4未经授权的远程访问(R2L)。本文将normal标记为(1,-1);probe、dos、U2R和R2L标记为(-1,1),数据的类别分布见表1所列。一个好的入侵检测方案具有高检测率和低误报率的特点,因此,本文用检测率(detectionrate,DR)和误报率(falsepositiverate,FPR)来衡量入侵检测性能。利用半监督学习需要提供少量标记数据,实验1设计了3个数据集。3个数据集含有相同的数据,但是标记数据所占的比例不同。其中,数据集1的标记数据约占总数据的1/4;数据集2的标记数据约占总数据的1/3;数据集3的标记数据约占总数据的1/2。取不同K值,分别运行10次,其检测率均为100%,数据集1的误报率均为0.08%,数据集2的误报率均为0.09%;数据集3的误报率均为0.12%。上述数据表明,ML-KNN算法在标记数据的训练下建立了一个较好的模型,误报率基本可以忽略不计。因此,本文提出的方案可以很好地改善入侵检测性能。在实际的网络运行中,正常数据占大多数,而攻击是少量的,实验2把异常数据记录控制在5%以内。为了与文献[3]作比较,实验选取dos的攻击为neptune、smurf;R2L的攻击为guesspasswd;U2R的攻击为land-module、buffer利用半监督学习理论,3个测试数据集部分标记(比例控制在30%~40%),取不同的K值,分别运行10次,实验结果见表3所列。以入侵检测的误报率和检测率作为衡量标准,尽量选择高检测率和低误报率下的实验数据。经权衡比较,本实验结果见表4所列。不同方案的检测率和误报率见表5所列。由表5可知,本文算法在保证检测率的同时,有效地降低了入侵检测系统的误报率与k-means硬聚类算法、模糊C均值(fuzzyC-means,FCM)及文献[3]相比,本文方法的检测率有了较大的提高,误报率很低,基本可以忽略不计,一定程度上解决了目前入侵检测存在的一些问题。但是该模型纯粹采用KNN技术,在一些情况下是可行的,但是对于已知的标记数据和未标记数据,没有区别哪能个更重要。5基于-knn的入侵检测算法实验证明本文提出的ML-KNN算法在入侵检测方面是可行和有效的,优于传统的入侵检测算法。基于ML-KNN的入侵检测算法将KNN算法