基于条件随机场的网络安全态势量化感知方法术.docx

基于条件随机场的网络安全态势量化感知方法术基于条件随机场的网络安全态势量化感知方法术李建平12，王慧强1，卢爱平2，郝洪亮3，冯光升1(1哈尔滨工程大学计算机科学与技术学院，黑龙江哈尔滨150001；2大庆石油学院计算机与信息技术学院。黑龙江大庆163318；3大庆油田有限责任公司测试技术服务分公司。黑龙江大庆163311)摘要：网络安全态势感知(NSSA)是目前网络安全领域研究的一个热点问题。首次提出一种基于条件随机场的(CRFs)网络安全态势量化感知方法。该方法以入侵检测系统的报警信息作为网络安全态势感知的要素，结合主机的漏洞和状态，定义网络安全威胁度来更好地体现网络的风险，并对攻击进行分类，简化CRFs模型的输入，同时选择了有效的特征属性，通过DARPA 2000数据的仿真实验生成了职确的网络安全态势图，表明提出的方法能够很好地反映网络风险，量化网络安全态势。关键词：网络安全态势感知；量化感知；条件随机场中图分类号：TP39308 文献标识码：A 文章编号：1000-9787(2010)10-0083-04Quantification awareness method of network securitysituation DaSen 0n C0ndlnonal rannom tielnS 1 1 1J l 1 一l1 币LI Jianpin91一，WANG Huiqian91，LU Aipin92，HAO Honglian93，FENG Guangshen91(1College of Computer Science and Technology，Harbin Engineering University，Harbin 150001，China；2School of Computer and Information Technology，Daqing Petroleum Institute，Daqing 163318，China；3Logging&Testing services Company of Daqing Oilfield COLTD，Daqing 163311，China)Abstract：Network security situational awareness(NSSA)has been a hot researchspot in the network securitydomainA quantification method for NSSA based on conditional random fields(CRFs)Was proposedThe data ofnetwork attacks from intrusion detection system(IDS)the hostsvulnerabilities and the hostsstates were firstlycombined as the network security factorsAnd then the network security threat degree was defined to quantify therisk of the whole network and classify the attacksA diverse set of effective features were incorporated in CRFsModel卟e experiments on the DARPA 2000 data set generate the explicit network security situational graphItproves that the method introduced call represent network risk more accurate and offer a good quantification for thenetwork security situationKey words：network security situational awareness(NSSA)；quantification awareness；conditional random fields0 引言随着网络技术的广泛应用，其规模不断扩大和开放，网络也会受到各种安全威胁的影响，如，外部攻击者入侵、木马、DDoS、蠕虫、病毒、内部攻击等，而且，新型的攻击类型也不断涌现，如，Web代码注入、僵尸网络等。人们通常采用防火墙、入侵检测系统(IDS)，病毒检测等方法来保证网络系统的安全，但这些方法都只是对攻击行为采取局部的预防措施，网络管理员不能从整体上发现网络所处的状态和潜在的危险并采取有效的措施。1999年，Bass T首次提出了网络态势感知的概念，但只是建立了网络空间态势感知框架，并没有实现具体的原型系统；BatsellP S G_2J，ShiffletP J等人也提出了类似的模型并集成现有的网络安全系统实现了系统框架，以应对大规模的网络安全事件，但这些方法都只能对有限的攻击进行检测，无法真正实现网络安全态势感知。网络安全态势感知是指在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及预测未来的发展趋势。西安交通大学设计了基于IDS和防火墙的集成化网络安全监控平台，实现了网络态势评估，并在文献6中提出了一个基于统计分析的层次化网络安全威胁态势量化评估方法，文献7提出了一种基于粗糙集理论的网络安全态势感知方法；Kjetil H旧1提出使用连续隐马尔可夫模型(hidden Markov model，HMM)定量计算网络安全威胁态势，但是存在的一个最大的缺点就是由于其输出独立性假设，导致其不能考虑上下文的特征，限制了特征的选择。条件随机场(conditional random fields，CRFs)是一种新的概率图模型旧J，它具有表达元素长距离依赖性和交叠性特征，对所有特征进行全局归一化的优点，解决了最大熵模型(HEMM)标注偏置的问题，CRFs被广泛的应用于英文POS标注、英文名词短语识别、中文分词等领域并取得了较好的效果。近来，Gupta K K，Li Jianping等人将CRFs应用于入侵检测系统中，依据属性和属性间的特征建立了检测模型，提高了检测精度和效率，但是把CRFs应用于网络安全态势定量感知中，还未见报道。本文提出一种基于CRFs网络安全态势的量化感知方法。该方法以IDS的报警信息作为网络安全态势感知的要素，结合主机的漏洞和状态，定义网络安全威胁度来更好地体现网络的风险，并对攻击进行分类，简化CRFs模型的输入，通过DARPA 2000数据的仿真实验生成了明确的网络安全态势图。1 CRFsCRFs最早由Lafferty J等人于2001年提出，其模型思想主要来源于最大熵马尔可夫模型。与最大熵马可科夫模型一样，CRFs是指数形式的模型，具有很强的推理能力，并且能够使用复杂、有重叠性和非独立的特征进行训练和推理。定义：给定一个无向图G=(y，E)，其中V是图的顶点集合，E是边集合。然后把标记Y用顶点做索引，即Y=(Yv)vV，每一个顶点的Y都可以取标记集中的任意一个标记。当Y的出现条件依赖于X，而且Yv根据图结构的随机变量序列具有马尔可夫性，即P(YV|X，Yw,wv)=p(Yx|X,Ywwv)，wv表示2个顶点之间有连接边，则称(X，Y)为一个CRFs。在无向图G=(Y，E)中，Y是一棵树，这个图的子图是边和顶点。于是，根据随机场模型的基础理论，给定X的标注序列Y的联合分布有如下的形式式中x为数据序列，y为标注序列。Y|e为由边e定义的y的组件的集合。Y|v为由顶点v定义的y的组件的集合。2网络安全威胁度对于IDS报警来说攻击方式多种多样，snort基本报警就有8000多个，直接将IDS报警信息作为CRFs模型的输入，那么，运算规模将非常庞大，运算效率会非常低。所以，必须找到一种合适的方法，将报警信息归类，本文将网络攻击和网络环境、用户配置结合起来，引入了网络安全威胁度的概念来对攻击进行分类，作为CRFs模型的输入，解决了以上问题。网络安全威胁度综合了漏洞、资产、环境因素等各个方面来评估一个报警信息所表示的网络安全的威胁程度。通过计算一个IDS的报警对网络造成的影响，将IDS报警进行分类。系统预设的威胁度为lO级，即所有IDS报警信息都将根据对网络造成的影响程度归入这lO个类别，其定义如表1所示。3基于CRFs网络安全态势量化感知模型31 模型建立CRFs模型首先定义每台网络中的主机具有个状态，用s=(S1，S2，Sn)来表示，那么，该主机的状态序列为x=x1,x2，xT，xts。通常认为主机可以处于4种状态：Good，Probed，Attacked，Compromised分别用G，P，A，C表示，那么s=G，P，A，C，如果能够较为准确地计算主机处于何种状态，那么就可以定量分析主机的风险。如果假设主机所能够观察到的攻击M种，用A=a1，a2，aM表示，那么，攻击序列为y=y1，y2yT，YtA，对于主机状态序列x和攻击序列y，按照攻击行为的序列化特点，假设当前状态只和前一状态有关，或者完全独立，可以定义一个线性的CRFs模型，具体形式为式中z为归一化因子，且其中，每个fk(yi-1，yi，x)是观察序列戈中位置为i和i一1的输出节点的特征，每个gk(yi，x)是位置为i的输入节点和输出节点的特征，和是特征函数的权重。权重参数是对训练数据进行学习时确定的。本文采用了Viterbi算法推导出最大概率的状态序列，即计算出当前主机处于各种状态的概率Pt=(r1，r2rN)。在t时刻状态分布表示为rt= rt(i)，1iN，状态的分布概率公式为然后引入一个代价向量C，代表一台主机在每个状态的安全态势值，那么，可以将主机状态的定性分析转化为定量分析。如C=1，10，20，100，表示该主机在每种状态下的风险，可以利用公式计算主机当前的安全态势值为如果一台主机的安全态势值在110之间表示很可能被探测到了，在10-20之间表示已经遭受到了攻击，如果超过20表示攻击已经比较严重了。假设一个网络中有L台主机，则很容易得到整个网络的安全态势值32基于约束前向后向算法的可信度估计前向后向算法可用于在给定观察值序列的条件下计算所有可能的状态序列的概率。在CRFs中需要定义一个作相应修改的“前向变量”ai(si)，递归定义如下为了估计所识别出主机状态的可信度，对前向后向算法作如下约束：每条路径均应经过满足约束C=(st,st+1)的子路径，其中，stC或者是一个正约束(该序列应该经过st)，或者是一个负约束(该序列不应经过st)。在主机状态识别中，约束C对应于被识别出的主机状态，C中的正约束表示主机状态的内部状态，而负约束则主机状态的边界。在约束前向后向算法中，同样前向变量值也应该满足约束C，基于CRFs的模型，对所有的sqC，定义相应的约束前向变量式中sisq表示s。满足约束sq，如果at+1(si)是一个约束前向变量，就是约束格(1attice)的值，则对一个主机状态识别的可信度可表示为z0的归一化，即4仿真实验与结果分析实验数据采用重放Lincoln实验室的DARPA 2000数据集，CRFs模型训练和测试工具采用开源工具CRF+053P。41评测指标检测精度(Accuracy)=正确分类的样本数总样本数；精确率(Precision)=TP(TP+FP)，其中，TP表示正例被判断为正确的样本数，FP表示反例被判断为正确的样本数；召回率(Recall)=TP(TP+FN)，其中，F表示正例被判断为错误的样本数；F值=(2PrecisionRecall)(Precision+Reedl)。42特征参数的选择通过对DARPA 2000数据集格式的分析和网络安全威胁度算法计算得到的攻击的网络安全威胁度，在实验中主要采用了如表2所示的特征。由于网络攻击行为具有连续性，即数据的相邻状态具有相关性，因此，把CRFs模型的特征属性表示为二值特征函数的形式。43特征参数的训练方法CRFs的训练目标是在给定一个训练数据集，D=(O，l)1，(0，l)i，(0，l)N的条件下，最大化训练集的对数似然(loglikelihood)式中的第二项是用于提供平滑处理的特征参数的高斯先验值，a2表示先验方差。本文使用LBFGS算法实现对目标函数的优化求解。44实验结果分析本文利用实际的IDS数据来检测本方法的有效性。Lincoln实验室的DARPA 2000数据集是在一个拥有4个c类子网的网络中采集流量得到的。这些数据已经被SnortIDS和USTAT主机IDS处理成为攻击报警数据。该数据集包含了监视子1721611302417216115024的两台Snort IDS产生的攻击报警信息，主要攻击对象1721611250和17216，11210这3台主机。在处理DARPA2000数据的时候，对于同一个Signature ID的攻击，如果在一个较短的时间内，认为其产生的威胁相同。通过重放DARPA2000报警和构造相关主机信息，利用网络安全威胁度算法计算得到的测试结果如图1所示。从图中可以看到，真正对网络具有很大风险的攻击数目其实很少，例如：Threat值为7的攻击仅仅有18个，达到8的只有3个，大部分是Threat为3的攻击，共有330个。但是少量的攻击对网络造成了较大的影响，例如：3个高威胁度的攻击就攻破了3台主机，因此，通过Threat值的计算，准确地发现了高风险的攻击。使用CRFs模型对主机所处的状态进行分类。首先，按照CRF+模型工具的需要对数据进行格式化，然后，选取部分DARPA2000数据进行标注，作为CRFs模型的训练数据，把其他的数据作为测试数据进行实验。分别进行了2次实验，第1次实验选取了数据的部分特征属性进行训练和测试，选取的特征属性有：ConnTime，ServieeType，SoureeIP，TargetlP，Protocol，ConnCount，Threat，第2次实验使用了如表2全部的特征属性。2次实验结果如表3所示。表3从表3中可以看出：特征属性的选取和属性相关性的设置是否恰当能够提高CRFs模型的精度，同时也表明选择的特征属性是合适的。为了表明CRFs模型的有效性，分别用支持向量机(SVM)模型和HMM模型对相同的数据进行了测试，实验结果如表4所示。从表中可以看出：CRFs模型对于网络攻击数据分类的精确性高于其它算法，表明CRFs模型适合对网络攻击数据进行分类，同时也表明本文选择使用CRFs模型是合适的。最后通过公式(5)和公式(6)计算出如图2所示的所有内部网络被攻击的主机的总体风险值，也就是网络的安全态势值。从图中可以看出：网络安全态势随时间变化明显上升，由于最后没有新的攻击，一直处于一个高风险状态。实验表明：本文方法生成了明确的网络安全态势图，正确地反映了网络安全态势，为管理员的决策提供了依据。5结论本文利用CRFs在标记和切分序列化数据过程中的特点，把CRFs模型用于网络安全态势的量化感知中是一次新的尝试。此方法以IDS的告警信息作为网络安全态势感知的要素，采用计算网络安全的威胁度的方法对攻击进行分类，同时进行了有效的特征选择，通过DARPA 2000数据的仿真实验生成了明确的网络安全态势图，表明本文中提出的方法能够很好地反映网络风险和量化网络安全态势。参考文献：1 Bass TIntrusion detection systems and multisensor data fusion：Creating cyberspace situational awarenessJCommunications ofthe ACM，2000，43(4)：99-1052Batsell S G，Rao N S，Shankar MDistributed intrusion detectionand attack containment for organizational cyber securityJIEEETransactions on Computers，2007，42(4)：447-4533Shifflet JA technique independent fusion model for network intrusion detection【CffProceedings of the Midstates Conference onUndergraduate Research in Computer Science and Mathematics，2005：13-194 王慧强，赖积保，朱亮，等网络态势感知系统研究综述J计算机科学，2006，33(10)：5-105 张慧敏，钱亦萍，郑庆华，等集成化网络安全监控平台的研究与实现J通信学报，2003，24(7)：155一1636 陈秀真，郑庆华管晓宏，等层次化网络安全威胁态势量化评估方法J软件学报，2006，17(4)：885-8977 梁颖，王慧强，赖积保一种基于粗糙集理论的网络安全态势感知方法J计算机科学，2007，34(8)：95-147(下转第89页)万方数据第lO期姜利英，等：基于MSP430单片机的电化学传感检测系统设计89图5系统主程序流程图Fig 5 Flow chart of system main program试，葡萄糖的测试值在0522 molL范围内有很好的线性关系，相关系数达到09943，乳酸的测试值在120 molL范围内有很好的线性关系，相关系数达到0994 8，相关性对比如图6，图7所示。图6Fig 6比and0 5 10 15 20 25 30 35CHl660A测试值ILA图7乳酸一CHl660A测试值与检测系统测试值相关性对比Fig 7 Comparison of lactate CHl660A measurement value and5结论本文从硬件和软件2个方面提出了一个基于MSP430单片机的小型电化学传感检测系统的设计方案。其单片机控制的恒电位仪模块可实现-333。3 V的宽电压输出，绝对值电路和峰值电流检测电路提高了检测系统的性能。使用实验室自制葡萄糖传感器和乳酸传感器进行测试，实验结果表明：检测系统能够满足研究中制备的各种生物电极的检测要求，扩展性好，还可方便用于对非传统电极与电极阵列的研究。参考文献：1 Yang Liuqing，Ren Xiangling，Tang Fangqiong，et a1A practicalglucose biosensor based on Fe3 04 nanoparticles and chitosannafioncomposite filmJBiosensors and Bioelectronies，2009。25(4)：889-8952 Yoneyama Y，Murata M，Ohnuki H，et a1Wireless biosensor systern for real-time cholesterol monitoring in fish“Nile tilapia”JTalanta，2009，80(2)：909-9153Huang ChunYueh，Syu MeiJyuan，Chang YongShuen，et a1Aportable potentiostat for the bilirubin-specific sensor preparedfrom molecular imprintingJBiosensors and Bioelectronics，2007，22(8)：1694-16994姜利英，蔡新霞，刘红敏，等，纳米颗粒修饰薄膜金电极的新型葡萄糖传感器研究J分析化学，2008，36(11)：156315665 Cai Xinxia，Andrew G，Jonathan M C，et a1Miniaturized eleetroanalytieal sensor systems in miemmachined structuresJElectroanalysis，2000，12(9)：631-6396 Jiang Liying，Liu Chunxiu，Li Huaqing，et a1Performance of anlperometrie biosensors for determination of hemoglobinCTheSecond International Forum on PostGenome Technologies-Ge-nomic Analysis and BioNanoscienee，Nanjing，2004：231-2327胡延康，微弱信号的测量J电子质量，2005(5)：1-4作者简介：姜利英(1981一)，女，河南漯河人，博士，主要从事生物传感器test value of detecting system 及其信号处理研究。tpt声)pt声tpu)t声tpt妒tpp、步kqpukq)、)t)u)tYt产)tpk声pk声声声、声u声声u声q声tpt妒)、ptp(上接第86页)8 Kjetil H，Andr6 AMuhisensor realtime risk assessment usingcontinuous time hidden Markov modelsCProceedings of theInternational Conference on Computational Intelligence and Security(CIS)，Guangzhou，China，2006：235-2429Lafferty J，MeCallum A，Pereira FConditional random fields：Probabilistie models for segmenting and labeling sequence dataCInternational Conference on Machine Learning，2001：282-28910Gupta K K，Nath B，Ramamohanarao KConditional random fieldsfor intrusion detectionCProceedings of the 21st ImeruationalConference Oil Advanced Information Networking and Applications Workshops(AINAW)，Melbourne，2007：203-2081 1Li Jiantfing，Wang Huiqiang，Yu JianguangResearch on the application of CRFs based on feature sets in network intrusion detectioncProceedings of2008 International Conference Oil Security Technology(SecTech)，2008：194-19712李伟明，雷杰，董静，等一种优化的实时网络安全风险量化方法J计算机学报，2009，32(4)：793-80413周俊生，戴新字，尹存燕，等基于层叠条件随机场模型的中文机构名自动识别j电子学报，2006，34(5)：804-809作者简介：李建平(1976一)，男，黑龙江大庆人，博士研究生，讲师，主要研究方向为计算机网络安全技术。万方数据基于条件随机场的网络安全态势量化感知方法作者： 李建平， 王慧强， 卢爱平， 郝洪亮， 冯光升， LI Jian-ping， WANG Hui-qiang， LUAi-ping， HAO Hong-liang， FENG Guang-sheng作者单位： 李建平,LI Jian-ping(哈尔滨工程大学,计算机科学与技术学院,黑龙江,哈尔滨,150001;大庆石油学院,计算机与信息技术学院,黑龙江,大庆,163318)， 王慧强,冯光升,WANG Huiqiang,FENG Guang-sheng(哈尔滨工程大学,计算机科学与技术学院,黑龙江,哈尔滨,150001)， 卢爱平,LU Ai-ping(大庆石油学院,计算机与信息技术学院,黑龙江,大庆,163318)， 郝洪亮,HAO Hong-liang(大庆油田有限责任公司,测试技术服务分公司,黑龙江,大庆,163311)刊名：传感器与微系统英文刊名： TRANSDUCER AND MICROSYSTEM TECHNOLOGIES年，卷(期)： 2010,29(10)参