【《大规模网络安全检测的动态轮询优化策略分析》9200字】

，初始序列里x1代表CPU的利用率，x2代表内存利用率，x3则代表磁盘空间的利用率；Δxi(i=0,1,2,3,...)预测了子序列的结果。最终预测结果如下：（3.13）其中，代表加权因子。3.2.2安全检测动态轮询扫描时间周期算法（1）安全检测动态轮询时间周期流程将网络状态时序状态值作为网络安全状态预测的输入，经过小波包分解和支持向量回归模型，预测未来的网络状态变化幅度，并判断预测变化幅度是否为线性，如果预测值是线性的，并且是在允许的误差范围内变化，则判断网络状态变化在正常范围内，轮询值采用最大时间周期策略;如果预测值是非线性的，则第n+1轮询值会以非线性的调整，缩短轮询周期以提升对于网络状态变化的及时感知。图3-SEQ图3-\*ARABIC3动态轮询时间周期算法流程图（2）动态轮询时间周期相关定义定义3.1：轮询定义为以Δ𝑡为间隔收集性能及风险数据的过程。这里Δ𝑡表示轮询检测周期，1/Δ𝑡即为轮询频率。（3.14）表示在时间t的主机总负载。定义3.2：预测的幅度变化由下式表示：（3.15）其中d(t)表示时间t的轮询值，df(t)表示预测。定义3.3：常数U是幅度的标准。常数U幅度内的变化被认为是线性的。定义3.4：最大轮询检测周期由表示，最小轮询检测周期用表示。目前的轮询周期是，下一个是（线性是“+”，非线性是“-”），ε为调整的轮询常数。算法3.1安全检测动态轮询时间周期算法1：初始化轮询器，将最初的轮询时间间隔周期设置为5分钟。2：获取相应的检测属性值（如CPU利用率，内存利用率等）以生成初始序列：。3：使用生成预测幅度。4：根据和常数确定是否为线性变化。如果是线性，则转到步骤5，否则转到步骤6。5：计算下一个轮询周期，如果周期符合，使得，转到步骤7。6：计算下一个轮询周期。如果周期符合，使得，然后转到步骤7。7：根据轮询周期，系统使用轮询函数（3.10）获取轮询值。8：根据轮询的实际值更新序列，并转到步骤3。基于网络风险预测的节点空间约简策略大规模网络中各类节点数量庞大，如果每次安全检测轮询都对全部节点进行检测，会使得检测时间周期非常长，还会增加检测系统的负载，对于网络的异常情况也难以快速发现，针对上述问题，提出了一种GA-HMM模型，其结构流程如图3-4所示。该模型首先利用同构HMM模型与遗传算法相结合进行训练，再通过马尔科夫链进行预测，找出高风险节点形成扫描的目标节点子集合，达到了对安全检测节点空间约简的目的。节点风险预测主要包含三个过程：步骤1：假设轮询k次，在k次轮询中记录下来各个节点的属性特征指标（如表3-1所示），并将其初始化特征空间大小为9的初始节点风险态势序列，其中态势特征值1-3代表低风险，4-6代表中风险，7-9代表高风险。利用隐马尔可夫模型通过Baum-Welch算法与Vertbi算法基于节点各个属性特征进行训练，得到基于各个属性的估计节点风险态势序列；步骤2：利用自适应遗传算法对估计节点风险态势进行约简，得到优化的节点风险态势序列；步骤3：利用马尔科夫链将步骤2得到的节点风险态势序列进行马尔科夫预测。并将其划分为9个离散状态，计算得出状态转移矩阵，节点状态转移也反应了节点各种属性的加权指标的变化趋势。根据历次轮询的状态转移矩阵，对每一个节点的下一步迁移概率进行计算，节点的状态转移概率描述状态转移可能性的大小，根据状态迁移概率得出节点未来状态变化情况；步骤4：只选取高风险状态节点进行检测。图3-SEQ图3-\*ARABIC4GA-HMM模型流程图表3-SEQ表\*ARABIC\s11节点属性类型及其属性值参数节点属性属性值网络时延0（低）1（中）2（高）CPU利用率0（低）1（中）2（高）网络流速0（低）1（中）2（高）内存利用率0（低）1（中）2（高）马尔可夫假设下的隐马尔可夫模型，将节点风险看作一种无法观测的隐含状态，其随着轮询检测先后顺序呈现一种马尔可夫性，并且可由观测状态描述。隐马尔可夫模型的核心是模型参数λ=A,B,π，设观测特征即节点的属性类型的取值空间为V=v1,v2,,v3，节点的风险态势取值空间为S=s1,…,sN。其中A=[aij]N×NQUOTE表示模型在各状态（隐藏层）之间的转移概率矩阵；B=[3.3.1数据预处理本节主要针对节点的初始化风险序列进行数据预处理。通过对节点每时刻的属性类型进行欧式距离线型相加作为初始化风险态势序列，对模型参数进行初始化。统计初始化风险态势序列中从状态i转移到状态j的转移概率并作为参数A的aij，统计初始化风险态势序列处于状态j时观测数据特征处于状态k的输出概率为参数B的bjk，统计估计风险态势序列各个状态的似然分布作为参数π3.3.2模型训练在模型的训练阶段，基于不同的观测特征和各个特征对应的参数λ初值建立子隐马尔可夫模型。参数训练是在模型参数不准确的情况下,根据观测序列调整模型参数,即如何确定模型参数λQUOTEλ=[A,B,π]，使得该序列出现的概率P(O|λ)最大。模型使用基于EM算法的Baum-Welch算法进行参数训练。Baum-Welch算法使用前向算法定义为已知模型参数QUOTEλ=[A,B,π]λ=[A,B,π]，时刻t下部分观测序列QUOTE{o1,o2,...,ot}{o1,o2,...,ot}且隐状态为si的概率QUOTEαt(i)αt(i)。使用后向算法定义为已知模型参数QUOTEλ=[A,B,π]λ=[A,B,π]，时刻t下隐状态为si的条件下，从t+1到T的部分观测序列QUOTE{ot+1,ot+2定义3.5设γt(i)为参数QUOTEλ=[A,B,π]λ=[A,B,π]和观测序列O在时刻t时的隐状态为QUOTEsisi的概率γt(i)=P(i定义3.6设ξt(i,j)为参数QUOTEλ=[A,B,π]λ=[A,B,π]和观测序列O在时刻t时的隐状态为QUOTEsisi，且在t+1时刻的隐状态为sj的概率ξt(i,j)=P(由前向概率和后向概率可知αtγ（3.16）通过前后向概率计算，定义3.6中：ξ（3.17）而P(（3.18）由此可得：ξ（3.19）基于上述定义和推导，得出每一次迭代中模型参数λ=[A,B,π]的计算公式，aijbjπ（3.20）设εn步骤1：输入单特征的观测数据O，并初始化模型参数λ(0)步骤2：基于公式（3.20）1对参数λ进行迭代；步骤3：当|εn|由Baum-Welch算法得到收敛的模型参数后，使用维特比算法对模型参数进行解码，求出基于单特征的最优隐状态序列。维特比算法的思想是用动态规划求解概率最大路径，其中每一条路径都对应着一个隐状态时间序列。维特比算法运算过程中使用到的参数定义如下：定义3.7设为在时刻t且状态为的所有单个路径中概率最大路径的概率值。定义3.8设为在时刻t状态为的所有单个路径中概率最大路径第t-1个节点。基于上述定义，给出维特比算法步骤如下：步骤1：输入模型λ=[A,B,π]，单特征观测数据O，在时刻t=1时，初始化参数δ1(i)=π步骤2：递推求解δt(i)和δtψt(（3.21）t=T时递推终止，此时有：P∗=（3.22）步骤3：由后向前进行最优路径回溯，对t=T-1,T-2,…,1，有iT∗=3.3.3模型优化在模型训练阶段，每个子隐马尔可夫模型都生成一个估计节点风险态势序列，但是这些估计节点风险态势序列无法很好地描述多特征观测序列的综合情况，需要对这些估计节点风险态势序列进行优化约简。将3.3.2中生成的全部估计节点风险态势序列作为初始种群，使用自适应遗传算法进行约简优化，生成最优的估计节点风险态势序列。设特征数为N，Ij定义3.9适应度函数G：判断群体中每个个体优劣的标准。信息增益能够描述变量之间的相关性，故使用信息增益作为适应度函数的目标函数。计算隐状态时间序列Ij关于观测数据特征Di的信息增益g(Di,定义3.10选择函数S：从父代种群中按选择函数选取个体，以便其留下并遗传到下一代群体。对种群计算适应度函数，使用经典的轮盘赌算法，个体j进入下一代的概率遵循基于适应度函数的概率密度函数。定义3.11交叉：对选择出的适应度高的个体进行复制，然后对其中两两染色体随机位置某一相同位置的子序列切断，然后两串子序列分别交叉组合成两个新的染色体。定义3.12变异：在染色体复制交叉的过程中，有一定概率会产生变异，表现出新的性状。对染色体变异采取符合高斯分布的实值变异（其中位置参数μ为当前实值，σ2=0.7）。变异概率直接影响遗传算法的收敛性，当其较小时不易产生新的个体，当其过大时，不易留住适应性高的优良个体。设Gmax为种群最大适应度，G−为种群的平均适应度，G为变异个体适应度，G’为两个交叉个体间适应度的较大值，k1,p（3.23）基于上述定义，给出自适应遗传算法： 步骤1：输入节点基于每个特征建模生成的估计节点风险态势序列Ij步骤2：设k1=0.1，步骤3：迭代终止，得到最优估计节点风险态势序列种群；输出最优种群中的最大适应度个体，即最优估计节点风险态势序列。3.3.4模型预测在态势序列的优化约简阶段得到每个节点的风险态势序列（隐状态时间序列）后，本小节对风险态势序列进行态势感知。由2.6小节可知隐状态时间序列符合马尔可夫性质，故可使用马尔可夫预测法对节点的风险态势进行预测。马尔科夫链在t时刻的状态分布，可以由在t-1时刻的状态分布以及转移概率分布来决定，所以已知t-1时刻节点的风险态势和转移概率分布矩阵，就可以对t时刻节点的风险态势进行预测。对于状态空间S，pij表示节点从状态Si转换到状态Sj的概率，Pi表示状态i的状态转移概率序列，由2.2.3中得到的最优隐状态时间序列生成下一时刻的状态转移矩阵，对于t时刻状态Si实验与分析3.4.1实验设计说明 本章节从安全扫描的时间周期、样本空间两个维度提出网络安全检测的轮询优化策略：一是基于网络状态预测的动态轮询扫描时间周期优化策略，二是基于节点安全风险预测的动态节点空间优化策略。本文所提出的方法已经在安全服务平台中实现，并部署于陕西利安社区电子服务的大规模商业网络中。本文选择2013年在企业网络部署时所采集到的部分网络数据作为实验数据，对两个算法进行验证。动态轮询时间策略验证，分别按照固定时长间隔周期轮询策略与本文提出的动态轮询时间周期策略，选择在业务频繁、节点负载变化多的时间段，对企业网络节点进行扫描，通过对数据分析，以此验证算法的有效性。节点空间约简策略验证，一是将本文算法与单纯马尔可夫算法等进行比较，验证算法具有较好的预测准确性，二是将本文算法预测的节点风险值与节点的实际风险值比较，通过实际数据验证算法预测的准确性。3.4.2实验环境说明本实验是在陕西利安社区电子服务网络中进行的，利安公司电子服务网络提供支付、票务、信息传播等线上服务，网点终端遍布许多城市的街道和社区。社区电子服务网络是三级架构，有30多个省市分支网络，仅陕西区域网络节点就达到6000多个，图3-5为其网络拓扑结构。由于其承载的业务种类多、业务请求量大、服务频率高，确保整个企业网络在业务高峰期的稳定运行是其网络管理的核心任务。图3-SEQ图3-\*ARABIC5利安电子服务网络拓扑图本文研究是国家科技支撑计划项目支持，将轮询优化策略应用于为企业研发的安全管理平台，该平台部署在利安服务网络中，对服务网络节点的运行状态、安全状态等进行监测，本文获取的是安全服务管理平台在2013年3月到5月，对陕西区域3000个业务节点运行监测及安全扫描的数据。3.4.3动态轮询时间周期策略验证利用利安电子服务网的安全管理平台，由安全管理服务器10.176.191.10对172.17.0.0-172.17.15.0网段内的所有节点主机进行扫描检测。检测轮询策略分别采用5分钟的固定时长间隔和本文动态轮询算法分别进行扫描实验。图3-SEQ图3-\*ARABIC6CPU利用率监测图图3-6反映了利安电子服务网络节点的CPU利用率变化。红色的线表示为5分钟固定时间轮询扫描的结果，绿色的线是基于动态轮询时间周期扫描的结果。在同样的时间段内，固定时长周期检测方法共执行了25次轮询扫描，而动态轮询检测方法则进行了55次轮询扫描。随着动态轮询扫描频次变大，捕捉到固定周期检测方法捕捉不到的CPU负载状态变化。从图3-6中可以看出，在5到20分钟和110到125分钟这两个时间段内，在固定时间轮询扫描发现CPU负荷状态处于直线下降状态，但通过动态轮询扫描却发现CPU负荷状态处于抖动状态，而单一下降状态。并且，通过这两段时间可以看出，动态轮询检测方法的扫描频度要大于其他范围，因为这段时间内CPU负荷状态波动幅度较大，本文方法会随之将轮询扫描间隔进行调整，从而使得CPU负荷状态的真实变化能够被发现。在90到110分钟的时间段内，可以看出动态轮询扫描频次比固定扫描频次少，因为在这段时间内，每次轮询CPU的负荷状态变化都很小，所以动态轮询检测方法降低了对轮询频次。实验结果表明，动态轮询频次随节点状态变化明显，当节点负载平稳时，轮询点密度减小，当业务请求多、负载变化频繁时，轮询点密度增大。扫描精度有了一定提高，固定轮询扫描检测有效性仅为动态轮询检测的44%。本文提出的动态轮询时间周期策略算法保持了较高的监测灵敏度，提高了监测数据的准确性。3.4.4基于隐马尔可夫模型的网络风险预测策略验证第一步验证，利用节点检测数据，将本文GA-HMM算法与三次指数平滑法、马尔可夫链进行对比实验。基于3.4.3节动态轮询检测，获取节点的属性如表3-1，将风险态势量化为1-9的离散状态值，其中当风险状态处于7-9则判定为高危节点，三次指数平滑法与马尔可夫链均基于线性回归方法对风险态势进行预估。实验以1000个节点为样本，获取这些节点2000次轮询检测的安全风险状态数据，先计算三种算法的预测序列值，再将算法预测风险序列值与节点实际风险序列值进行对比，即该节点预测的高危风险状态与下一次实际检测的风险状态比对，相同则记为1，否则为0，最后再进行预测准确率的统计。表3-SEQ表\*ARABIC\s12模型预测准确度对比对比模型准确度GA-HMM87.2%三次指数平滑法73.3%马尔可夫链预测75.9%从表3-2可以看出，GA-HMM模型对于高危节点的准确度要优于三次指数平滑法和马尔可夫链对节点高