数据挖掘技术在电子病毒检测中的应用

数据挖掘技术在电子病毒检测中的应用

电子政务病毒的检测随着网络技术的快速发展，电子邮件已被广泛使用。由于电子邮件具有快捷方便和传递速度快的特点，人们大量地使用电子邮件来进行信息的交流和数据的传送，提高了人们工作的效率。与此同时，电子邮件是基于各种网络的一种服务，具有自身的软弱性，邮件病毒的肆意横行和极高的更新速度，给人们使用电子邮件进行通信带来了极大的不便。为此，对电子邮件进行高效快速准确的病毒检测，以保持其良好的使用性能，是提高工作效率、降低成本的重要保证。然而，对众多如此复杂的电子邮件进行病毒的检测分析方面，仅仅依靠传统的手工编制的启发知识进行电子邮件的病毒检测和排除有较大局限性。将数据挖掘方法引入邮件病毒检测领域，为邮件病毒的检测提供了新方法，建立了机器自学习模型，能够实时的更新病毒检测知识库，弥补了手工编制的启发知识在检测新病毒上知识不足的缺陷。1病毒分析中的挖掘技术1.1将大量数据纳入检测规则，构造检测决策模型首先对病毒检测数据库按被检测邮件以及被检测邮件的病毒检测结果进行整理排序。然后进行建模：首先从数据集中学习症状与检测结果之间的检测规则开始。然后对该数据集进行测试和处理，凡能被所挖掘的检测规则解释的数据样本从数据集中删除，这表明被删除的大量数据所隐含的邮件检测知识可由这些检测规则来表达。将该数据集作为训练样本集，用于构造检测决策模型；决策模型经训练学习构造好后，对该数据集进行测试和处理，凡检测结果误差小于某阈值的数据样本从该数据集中删除，这表明被删除的大量数据所隐含的病毒检测知识可由该检测决策模型来表达。最后该数据集中未被删除的少量数据，经用户交互检验去掉其中的干扰数据后存放在案例库中。这些案例表达了不同于一般检测知识模型的特殊病毒的检测知识，这些案例其异常特征进行二叉树组织，以便于案例检索时进行基于案例的病毒检测。1.2)计算事后概率p基本贝叶斯分类器是假设指定的一个类别中的属性值是相互独立的。由贝叶斯定理可知，对邮件病毒进行分类的问题就变为计算事后概率P(H/X)，即计算在样本数据X成立的条件下，H假设成立的概率。基本贝叶斯分类器对邮件附件程序进行分类操作处理的步骤：(1)每个样本程序都是由一个N维的特征向量，X={X1.3多贝叶斯分类器多贝叶斯分类器是由一组简单贝叶斯分类器的投票来确定(一个)实例的最终分类结果。用于解决训练样本集过大而无法全部放到内存中的问题，将这个数据集划分为若干子集，以使得每个训练数据子集能够全部装入内存中，并由此训练获得一个简单贝叶斯分类器。然后将每个这样的分类器的分类输出作为一票，并由多分类器系统进行组合来产生一个最终的分类输出结果。多贝叶斯分类器的规则集是由各单独简单贝叶斯分类器的输出规则集的组合。多贝叶斯分类器的输出是个单独贝叶斯分类器的概率的乘积。2总结分类中的病毒分析2.1)生成部分字邮件中的病毒是通过邮件附近进行传播的，附件中的恶意程序会含有一些不同于普通程序(但相类似)的字节序列；而普通程序中含有一些不同于恶意程序(但相类似)的字节序列；因此需要从公共资源中收集大量程序使用病毒扫描器将每个程序标记(恶意或普通)，对程序进行解码获取二进制代码的概要描述，这包括程序的相关信息和字节顺序。2.2检测模型测试为了建立一个准确无误的、行之有效的检测模型，系统使用了3种特征：(1)二进制程序代码所调用的所有动态连接序列表；(2)相应调用这些动态连接库中所有函数的列表；(3)每个动态连接库中所调用不同函数的数量；产生检测模型的处理步骤是：首先分析(二进制)程序代码以抽取其中的字节序列，然后结合病毒扫描器对程序所作的标记(恶意或者普通程序)通过分析其中的一个数据子集来产生相应的分类器。接着利用未用过的数据对分类器(检测模型)进行测试。其中，字节序列中所含有如上面所列的特征信息很容易被改写，系统对字节顺序进行了分析，增加模型的鲁棒性。系统使用贝叶斯分类器对数据子集进行分类，会出现具有不同(恶意与普通代码)概率的二进制代码。处理办法是将其交给专家系统进行分析和判断，并将相应的信息送到检测模型中来更新模型库。边界情况可能会降低检测模型的准确性，需要采用检测知识的自学习模型对其进行再次训练学习。系统在接受到一系列新情况后，就需要产生的一个新检测模型对新情况做出正确的类别标记，然后将其和以前数据一起再进行挖掘，从而获得一个新的模型。然后再分发该模型。由于检测模型非常庞大，模型更新是通过分发模型中所修改的部分(而不是全部)来实现的。2.3．系统数据存储及分析基于以上对分类器技术在邮件病毒检测中的应用分析，邮件病毒检测数据挖掘系统的结构框架可设计成主要由数据库管理模块、知识库管理模块、数据预处理模块、模型库管理模块、专家处理模块、知识评价模块、结论解释模块等组成。系统结构框架如图1所示。其各部分功能简述如下：(1)数据库管理模块：管理由大量恶意程序和普通程序构成的数据库，直接负责数据的加工，存储，提取等。(2)数据预处理模块：病毒扫描阶段，应用病毒扫描器对数据库中的程序进行扫描并作出标记，即标记恶意或者普通程序，然后进行解码和转码，对恶意程序和普通程序进行解码，获得二进制字节序列，利用工具将其转化为十六进制，最后，信息分析模块：对二进制字节序列进行分析，获得项的信息；对十六进制的字节序列进行字节顺序的分析，以增强检测模型的鲁棒性。(3)知识库管理模块：对知识库进行管理，包括知识的增加、删除、更新和查询等。(4)模型库管理模块：对模型库进行管理。模型库的一个重要组成是数据挖掘模块，主要是归纳学习和贝叶斯分类器挖掘算法，并通过使用决策树，基本贝叶斯分类器和多贝叶斯分类器来获得检测邮件病毒的知识来完成模型库的更新。(5)专家处理模块：对由检测模型产生的边界程序进行分析，作出判断，然后获取主要特征形成知识，利用自学习模型策略更新原有的模型库并利用新知识更新知识库。(6)知识评价模块：对数据挖掘阶段的分类规则进行评价，若不合理则要将其剔除。(7)结论解释模块：将得到的分类结论按语义层次结构进行普化，给出简洁易懂的语言形式的结论阐述，以可视化的方式通知用户。3基于相关性分析的疫情检测由于电子邮件是一个基于网络的服务系统，