【《网络入侵检测方法实验评估分析案例》6900字】

V网络入侵检测方法实验评估分析案例目录TOC\o"1-3"\h\u3668网络入侵检测方法实验评估分析案例 1127001.1实验环境和数据集 161391.1.1实验数据集 141391.1.2实验环境配置 445781.1.3评价指标 5187731.1.4基线对比实验 6150781.2实验设计与实验结果分析 7300551.2.1机器学习方法性能比较 7213651.2.2深度学习方法性能比较 1079451.2.3不平衡数据处理方法性能比较 13为了充分验证本文所提出的解决方法的有效性，本章对进行实验所需要使用的实验数据集、实验使用配置环境、实验相关评价指标、基线对比实验等内容进行了详细的阐述。通过实验，可以证明KSAIDS方法能够有效地对海量网络流量数据进行检测，有效提升入侵检测模型的检测能力。1.1实验环境和数据集1.1.1实验数据集本文所使用的UNSW-NB15ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[92]和CICIDS2017ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[93]数据集是近几年新创建的入侵检测数据集，包含了较全面的攻击行为，是入侵检测领域研究的通用数据集，被广泛用于入侵检测领域。目前众多国内外学者均使用UNSW-NB15和CICIDS2017数据集来验证所提出的网络入侵检测方法的检测能力。1）UNSW-NB15数据集。UNSW-NB15数据集ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[92]收集了2015年1月22日的16个小时数据和2015年2月17日的15个小时数据。该数据集包含了较全面的综合攻击活动。UNSW-NB15数据集包含10种数据类型，分别是正常流量、拒绝服务攻击（DoS）、模糊攻击（Fuzzers）、分析攻击（Analysis）、侦察攻击（Reconnaissance）、蠕虫攻击（Worms），后门攻击（Backdoor）、漏洞利用攻击（Exploits）、通用攻击（Generic）和Shellcode。UNSW-NB15数据集中的一个数据分区被分别配置为一个训练应用数据集和一个测试应用数据集。其中，训练流量数据集分区拥有175341条训练流量分析数据,测试流量数据集分区拥有82332条测试流量分析数据。本文使用了整个UNSW-NB15的训练数据和测试数据来评估所提出方法的检测能力。2）CICIDS2017数据集。CICIDS2017数据集ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[93]是Sharafaldin等人创建的基于真实网络场景的可靠的入侵检测数据集，收集了2017年7月3日（周一）到7月7日（周五）共五天的数据。该攻击数据集群中包含了全面的新型网络攻击文件类型,例如对多端口扫描文件攻击（PortScan）、分布式拒绝服务攻击（DDoS）、僵尸网络攻击（Botnet）等。本文使用了周一、周五两天的数据集来评估所提出的方法的检测能力。其中，周一、周五两天的数据集共包含1233163条流量数据，本文按照训练集：测试集=8：2的比例来对整体流量数据进行划分，划分后训练集包含986530条流量数据，测试集包含246633条流量数据。本文使用了UNSW-NB15和CICIDS2017数据集来验证所提出方法的检测能力。首先使用第3章所提到的网络流量数据预处理方法对UNSW-NB15和CICIDS2017数据集进行规范化处理。具体而言，对于UNSW-NB15数据集，由于该数据集正式公布时，已经经过从pcap文件进行转换的处理，训练数据集和其他测试数据集均为包含49维特征信息的csv格式文件，因此，不需要再对该数据集进行额外的数据转换。只需要对该数据集进行数据清洗与数据变换处理。使用Min-Max方法对数值数据进行归一化，同时，使用one-hot编码方法，对UNSW-NB15数据集中的符号特征进行处理，该数据集包含了三种类型的符号特征数据，分别是：proto特征，服务特征和状态特征。在该步骤中，使用独热编码方法将符号数据转换为数值数据，映射为二进制向量，特征数量从45变化为196。对于类别标签，正常流量数据标记为0，异常流量数据标记为1。对于CICIDS2017数据集，使用加拿大网络安全研究室开发的开源工具CICFlowMeter，将CICIDS2017数据集的pcap文件，转化为包含80维特征信息的csv文件。接着使用数据集成方法对周一和周五两天的数据进行集成处理，并进行数据清洗。使用Min-Max方法对数值数据进行归一化，由于CICIDS2017数据集不包含符号类型特征，因此CICIDS2017数据集不需要处理符号类型数据。同样地，对于类别标签，将CICIDS2017数据集中的正常流量标记为0，异常流量标记为1。 经过统计分析，发现两个数据集中均存在数据类别分布不平衡问题。例如，UNSW-NB15数据集中异常流量（例如Analysis，Shellcode，Backdoor和Worms）数量远小于正常流量数量。如果不对这些不平衡数据集进行处理，异常流量样本很可能会被视为噪声数据而被忽略，这种不平衡数据集难以较好地训练模型。本文使用k-meansSMOTE过采样方法，并参考了Seo等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[94]的过采样处理比例，对不平衡数据集进行处理，来改善对少数异常类别数据的检测能力。UNSW-NB15和CICIDS2017的原始训练数据集的分布以及通过k-meansSMOTE算法处理的训练数据集的分布分别如图1.1、图1.2所示。图STYLEREF1\s5.SEQ图\*ARABIC\s11UNSW-NB15数据集分布左边图像是原始训练数据集，右边图像是经过k-meansSMOTE算法处理的数据集Figure1.1ThedistributionofUNSW-NB15dataset.Theleftimageistheoriginaltrainingdataset,andtherightimageisthedatasetprocessedbythek-meansSMOTEalgorithm.图STYLEREF1\s5.SEQ图\*ARABIC\s12CICIDS2017数据集分布左边图像是原始训练数据集，右边图像是经过k-meansSMOTE算法处理的数据集Figure1.2ThedistributionofCICIDS2017dataset.Theleftimageistheoriginaltrainingdataset,andtherightimageisthedatasetprocessedbythek-meansSMOTEalgorithm.1.1.2实验环境配置 本实验的主要实验设备是1台MacBookPro电脑，具体实验硬件设备配置和在本实验中所需要使用的电脑软件工作环境如表1.1所示。表STYLEREF1\s5.SEQ表\*ARABIC\s11实验硬件设备配置及软件环境Table1.1Hardwareequipmentconfigurationandsoftwareenvironment硬件名称硬件配置处理器2.3GHzIntelCorei5内存16GB软件名称软件环境操作系统MacOSPython环境Python3.7.1机器学习库Numpy,Pandas,Scikit-learn,Tensorflow,Keras编码环境JupyterNotebook 不同的编码参数设置会对检测方法在数据集上的检测效果造成影响，根据本文的研究分析，本文使用自动编码器深度降维方法对数据进行处理。具体而言，为了更好地表示原始数据集，使得自动编码器能够最大程度地保留原始数据的特征。本文测试了多种自动编码器的结构，对不同的自动编码器的隐藏层神经元数量进行实验，通过使用交叉熵来计算损失值。使用网格搜索方法，测试了从1个隐藏神经元到100个隐藏神经元的训练损失值。在UNSW-NB15和CICIDS2017数据集上自动编码器的最佳隐藏层神经元数量分别为24和35，如表1.2所示。在后续的实验中，本文使用了最佳隐藏层数量来训练自动编码器模型。表STYLEREF1\s5.SEQ表\*ARABIC\s12KSAIDS方法神经元参数设置Table1.2TheneuronparametersettingofKSAIDSmethod数据集最佳隐藏层神经元数量UNSW-NB1524CICIDS2017351.1.3评价指标入侵检测的过程可以看作是分类过程，其性能是通过分类的评价指标进行衡量。对于无监督入侵检测任务而言，研究人员通常将其与有监督学习结合来构建入侵检测系统。常用的评价指标有准确率、召回率等。这些评价指标大多都依赖于混淆矩阵。混淆矩阵包含的参数分别是：TP、TN、FP、FNADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[95]。表1.3展示了混淆矩阵四个参数的具体分布情况ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[96]。表STYLEREF1\s5.SEQ表\*ARABIC\s13混淆矩阵Table1.3Confusionmatrix预测为正常预测为攻击实际为正常TNFP实际为攻击FNTP为了对网络入侵检测方法进行更加全面的性能评估，本文主要使用了检测准确率(Accuracy)、精准检测率(Precision)、召回率(Recall)、F1值（F-measure）四种评价指标来对入侵检测方法进行评估。四个评价指标及相应计算公式分别如下所示：1）准确率（Accuracy）：是一个用于评估系统整体性能的指标，衡量入侵检测方法总体分类效果，计算公式如公式1.1所示。Accuracy=(1.1)2）精准率（Precision）：计算公式如公式1.2所示。Precision=(1.2)3）召回率（Recall）：计算公式如公式1.3所示。Recall=(1.3)4）F1值（F-measure）：Precision和Recall的综合评价指标，计算公式如公式1.4所示。F−measure=2×(1.4)之所以要使用以上四项指标来对入侵检测方法进行评估，一方面是因为对于不平衡网络流量数据而言，例如90%的训练数据均属于正常流量，如果此时分类器将所有样本均分类为正常流量，如果仅使用准确率来评估模型的检测效果，虽然最终分类准确率为90%，但是模型将攻击类别数据完全分错，此时精准率、召回率、F1值的值均为0。因此，引入精准率、召回率、F1值能够更全面地对入侵检测方法进行评估。另一方面，精准率更关注预测攻击结果是否准确，而召回率更关注预测攻击结果是否预测完全。为了更好兼顾完全精准的概率和完全召回概率，找到了这两个预测指标的基本平衡点，引入了F1值，只有当精准率和召回率二者的数值均较高时，F1值才较高。因此，本文使用检测准确率、精准率、召回率、F1值四种综合评价指标来衡量入侵检测方法的好坏，能够更全面的评估入侵检测方法的检测性能。同时，对于入侵检测方法而言，准确率、精准率、召回率、F1值的值越大，则该模型的检测性能越好，检测能力越强。1.1.4基线对比实验为了充分证明证明基于k均值稀疏异常入侵检测方法（KSAIDS）的有效性，本文对入侵检测相关的机器学习检测方法、深度学习检测方法、及不同的采样方法进行了综合对比分析实验。使用了六种常见的机器学习方法进行代表性的对比实验，分别是决策树、随机森林、高斯朴素贝叶斯（GaussianNaiveBayes，GNB）、伯努利朴素贝叶斯（BernoulliNaiveBayes，BNB）、AdaBoost和XGBoost，并且与Jing等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[97]和Ahmim等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[98]在2019年提出的基于机器学习的入侵检测方法的检测结果进行对比分析。本文还使用了六种常见的深度学习方法进行对比实验，分别为RNN、GRU、CNN、CNN-LSTM、SAE、AE，并且与Roy等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[99]和Andresini等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[100]在近两年提出的基于深度学习的入侵检测方法的检测结果进行对比分析。除此之外，本文使用了七种常用的处理不平衡数据的方法作为对照实验，包含了三种欠采样方法和四种过采样方法。其中，三种欠采样方法，分别为随机欠采样、NearMiss、CondensedNearestNeighbour；四种过采样方法，分别为随机过采样、SMOTE、ADASYN、BorderlineSMOTE。1.2实验设计与实验结果分析 为了证明KSAIDS方法的有效性，本小节分别从：机器学习方法性能比较、深度学习方法性能比较和不平衡数据处理方法性能比较三个方面，对模型的检测结果进行了详细的分析与阐述。1.2.1机器学习方法性能比较表1.4显示了本文所提出的KSAIDS方法与传统机器学习方法在UNSW-NB15和CICIDS2017数据集上的检测对比结果及与Jing等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[97]和Ahmim等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[98]研究工作的对比。从表1.4可以看出，对于传统的机器学习方法，基于树的方法的检测结果通常优于基于概率的方法，原因是朴素贝叶斯方法难以处理具有相关性的特征。但是，基于概率的方法比基于树的方法耗费更少的执行时间，其中，执行时间为训练过程和测试过程所花费的总时间。集成学习方法的检测效果通常优于单一方法，因为单一方法难以捕获到更多的数据信息，然而，单一方法比集成方法消耗的时间更少。从表1.4还可以看出，KSAIDS方法在UNSW-NB15和CICIDS2017数据集上的检测准确率分别为99.06％和99.16%，F-measure分别为99.15%和98.22%，优于传统的机器学习入侵检测方法，证明了本文所提出方法的优越性、有效性。其中，召回率也称为检测率，KSAIDS在两个数据集上的召回率分别为100％和98.28%，相比于六种机器学习方法，KSAIDS的召回率仍较高。同时，KSAIDS花费的时间多于决策树等单一模型方法，但是少于随机森林等集成学习方法。这些现象的原因在于，KSAIDS对不平衡流量数据进行处理，避免了由于样本数量过多而使得模型偏向正常类别的情况。并且随着数据数量和复杂度的增加，浅层学习方法的学习能力会受到一定的限制。本文还与Jing等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[97]和Ahmim等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[98]的工作进行了比较。如表1.4所示，Jing等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[97]提出了一种结合了非线性缩放方法的支持向量机入侵检测方法，该方法在UNSW-NB15数据集上的检测准确率为81.99%，召回率为86%。Ahmim等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[98]提出了一种基于决策树和规则的入侵检测方法，该方法在CICIDS2017数据集上的检测准确率为96.66%，召回率为94.47%。由表1.4可知，KSAIDS方法的检测能力优于Jing等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[97]和Ahmim等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[98]提出的方法，证明了本文所提方法的有效性。原因是他们的工作均使用浅层的方法来学习海量数据中的信息，并且未考虑到网络流量数据的整体分布情况。表STYLEREF1\s5.SEQ表\*ARABIC\s14机器学习方法在UNSW-NB15数据集和CICIDS2017数据集上的检测结果比较Table1.4DetectionresultscomparisonofmachinelearningmethodsontheUNSW-NB15andtheCICIDS2017datasetUNSW-NB15数据集方法AccuracyPrecisionRecallF-measure执行时间（s）决策树0.88580.98580.80140.88411.4201随机森林0.92890.98740.88050.930956.0396高斯朴素贝叶斯0.63810.97920.34150.50641.2242伯努利朴素贝叶斯0.74550.83840.65880.73780.6970AdaBoost0.92880.98730.88030.930733.3993XGBoost0.91820.98780.86020.9196441.6249Jing等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[97]0.8599\0.8600\\KSAIDS0.99060.98321.00.991531.9911CICIDS2017数据集方法AccuracyPrecisionRecallF-measure执行时间（s）决策树0.88910.96100.54830.69838.5593随机森林0.94510.92920.82870.8761162.2207高斯朴素贝叶斯0.82830.57700.99610.73081.5116伯努利朴素贝叶斯0.89930.70090.99330.82191.5668AdaBoost0.93640.89230.82820.8590301.7122XGBoost0.93250.87990.82400.85101327.1984Ahmim等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[98]0.9666\0.9447\167.11KSAIDS0.99160.98160.98280.9822149.7567（注：“\”表示该方案无法参与该评分项。）图1.3、图1.4分别展示了本文所提出的KSAIDS方法与传统机器学习方法在UNSW-NB15和CICIDS2017数据集上的检测准确率、精准率、召回率、F-measure的对比结果，由图1.3、图1.4能够更直观地发现，本文所提出的KSAIDS方法的检测能力优于其他六种机器学习方法，能够有效地检测网络异常流量。图STYLEREF1\s5.SEQ图\*ARABIC\s13机器学习方法在UNSW-NB15数据集上的检测结果比较Figure1.3DetectionresultscomparisonofmachinelearningmethodsontheUNSW-NB15dataset图STYLEREF1\s5.SEQ图\*ARABIC\s14机器学习方法在CICIDS2017数据集上的检测结果比较Figure1.4DetectionresultscomparisonofmachinelearningmethodsontheCICIDS2017dataset1.2.2深度学习方法性能比较由于深度学习方法可以学习数据的内在规律，因此能够更好地对海量网络流量数据进行拟合。为了验证KSAIDS方法具有较好的检测能力，本文使用了入侵检测领域常用的六种深度神经网络方法作为对照实验，在UNSW-NB15和CICIDS2017数据集上的检测对比结果及与Roy等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[99]和Andresini等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[100]研究工作的对比如表1.5所示。表STYLEREF1\s5.SEQ表\*ARABIC\s15深度学习方法在UNSW-NB15数据集和CICIDS2017数据集上的检测结果比较Table1.5DetectionresultscomparisonofdeeplearningmethodsontheUNSW-NB15andtheCICIDS2017datasetUNSW-NB15数据集方法AccuracyPrecisionRecallF-measure执行时间（s）RNN0.73460.71220.86920.7829707.7427GRU0.88790.86890.93790.9021888.7156CNN0.79390.73500.97830.8394219.7034CNN-LSTM0.49670.55460.43640.48851287.8755SAE0.92010.87331.00.932456.7223AE0.94150.90401.00.949651.6398Roy等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[99]0.95711.000.96000.9800\KSAIDS0.99060.98321.00.991531.9911CICIDS2017数据集方法AccuracyPrecisionRecallF-measure执行时间（s）RNN0.83470.68330.54680.60751558.3316GRU0.85810.72560.63320.67621883.8156CNN0.89370.77700.76530.7711444.6815CNN-LSTM0.86850.83720.54350.65913051.3014SAE0.94950.94690.83070.8850166.7451AE0.95360.96820.82890.8932161.6302Andresini等人ADDINEN.CITE<EndNote><Cite><Author>Daly</Author><Year>2009</Year><RecNum>163</RecNum><DisplayText><styleface="superscript">[1]</style></DisplayText><record><rec-number>163</rec-number><foreign-keys><keyapp="EN"db-id="rfavw52efae2aees5xcxpwrawd22te5vwddp"timestamp="1525694466">163</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Daly,MichaelK</author></authors></contributors><titles><title>Advancedpersistentthreat</title><secondary-title>Usenix,Nov</secondary-title></titles><periodical><full-title>Usenix,Nov</full-title></periodical><pages>2013-2016</pages><volume>4</volume><number>4</number><dates><year>2009</year></dates><urls></urls></record></Cite></EndNote>[100]0.9790\\0.9493\KSAIDS0.99160.98160.98280.9822149.7567（注：“\”表示该方案无法参与该评分项。）从表1.5可以看出，在UNSW-NB15数据集上，CNN-LSTM的检测结果最差，准确率为49.67%，Recall值为43.64%，F-measure为48.85%，且耗时最长，为