机器学习在信息安全领域应用

机器学习在计算机信息安全领域的应用序言计算机硬件和软件的惊人发展能力在短短几十年间被观察到，但硬件的利用率只有3%-5%。大量数据不断进入人们的视野，信息的有效利用率只有1%WD03。随着互联网的发展，人们共享硬件、软件、信息资源，而不管地区和时间长短，但生产力没有得到很好的提高。同时，无论是硬件安全还是信息安全，都面临着前所未有的威胁，资产的安全也没有得到充分保障。但是以机器学习为代表的信息有效利用度和信息安全领域的应用显示出了希望。机器学习使我们的计算机更聪明、更明智，使我们有信心应对大量数据、复杂多变的安全威胁。机器学习，发挥着举足轻重的作用！本文从机器学习的概念、开发现状、分类、问题等几个方面介绍了机器学习的相关知识，然后介绍了计算机信息安全相关的三个方面：入侵检测、木马检测、漏洞扫描中机器学习和信息安全的合规点。通过以上各方面的叙述，为未来研究打下了良好的基础。主题一、机器学习(1)机器学习的相关概念学习是生物中枢神经系统的高级集成技术之一是人类获取知识的重要途径和人类智力的重要标志据人工智能大师hSimon的指出，学习可以在系统不断重复的工作中增强或改善自己的能力，从而使系统下次执行相同或类似的工作时比原来更优秀或更有效。机器学习顾名思义，就是让机器(常见的电脑)具有人类学习的能力。机器学习通常是具有特定目的的知识获取过程，由内部未知知识增长过程表示为已知，外部表现为系统特定性能和适应性的改善，使系统能够更好地完成最初无法完成或最初能够完成的任务AZ07。机器学习是计算机获取知识的重要方法和人工智能的重要标志，是研究使用计算机模拟或实现人类学习活动的方法的学科，是研究机器如何识别和利用现有知识掌握新知识和新技术的学科。它致力于知识本身的增加和知识获取的技术提高。(2)开发机器学习机器学习在相关学科中一直起着主导作用，但对机器学习的实质还没有最终结论。从机器学习的发展历史可以看出机器学习经历了四个主要阶段AZ07:(1)作为50年代的神经模拟和决策理论技术，学习系统在运行时几乎没有结构或知识。主要建立神经网络和自组织学习系统，学习表现为临界逻辑单元发送信号的反馈调整。(2)从20世纪60年代初期开始对面向概念的学习符号学习的研究。使用的工具是语义网络或谓词逻辑，不再是数字或统计方法。在概念获取中，学习系统分析了相关概念的大量例和反例，构成了概念的符号表达。在这个阶段，人们认识到学习是一个复杂而渐进的过程。如果不想要任何早期知识，学习系统就不能学高层次的概念。(3)20世纪70年代中期，随着研究活动的蓬勃发展，各种学习方法的不断引进，实验系统出现了很大的变化，1980年在卡内基梅隆大学(CMU)举行的第一次机器学习研讨会标志着机器学习正式成为人工智能的独立研究领域。(4)从20世纪80年代中后期到现在，机器学习研究进入新阶段，有逐渐成熟的趋势。神经网络的复苏使各种非技能学习方法与符号学习同步，已经超越了研究范围，进入自动化和模式识别等领域，掀起了联系主义热潮，开始继承各种学习方法，多策略学习已经使学习系统更具应用价值，开始从实验室走向应用领域。(3)机器学习的分类根据传统的分类方法，机器学习可以分为：-导学机器学习-机器学习说明-遗传机学习-机器学习连接根据现代的分类方法，机器学习可以分为：-符号机器学习-统计机器学习-集成机器学习-改进的机器学习TY05对传统的机器学习分类，这篇文章不要过分叙述。以下是上述现代机器学习分类的简要介绍。Samuel将分段引入符号字段的数据处理中，形成了一类基于符号数据集的约简算法，这是现代符号机器学习的基础。但是，因为算法是在符号域中定义的，所以连续量必须映射到这样的域，算法才有效。此外，学习算法本身不表征泛化能力，它依赖于上述与算法本身无关的映射TY05。统计机器学习有三个测量因素：一致性假设、样本空间的划分和泛化能力。一致性假设是具有可观察样例的特性，在标准集合中使用相同。也就是说，标准w和正在查看的对象集q具有相同的属性，标准w中的所有对象都独立分布在WD03中。样品空间的划分也是机器学习的主要研究内容。也就是说，必须找到将采样空间划分为n维欧洲空间中不相交区域的超平面。广义能力，是对世界进行分类的明确能力，也可以理解为将我们从样品中得到的分割应用于世界集合的能力。由于划分标本集的方法可能不同，划分能力也不同，所以最一般化的划分就是我们想要的分类器。对于线性不可分问题，必须找到将非线性问题映射到线性空间，从而使在线空间中容易区分问题的映射。此映射是内核函数。目前算法的理论研究基本完成，主要研究集中包括以下两个问题：(1)广义不等式要求实例集独立，满足相同的分布，以便缓解严格的条件。(2)是否存在根据域要求选择内核函数的一些基本原则。集成机器学习被国际机器学习行业权威Dietterich评为ML四大研究方向中的第一名。1990年，Shapire证明，集成多个弱分类器(广义能力略大于50%)将具有强分类器的广义能力TY05。整合学习可以有效地提高广泛的功能，因此整合学习是机器学习中最受欢迎的研究领域之一ZZH08。加强机器学习首先是考虑“在变化的环境中”学习中包含的环境知识，其本质是对环境的适应。1975年，霍兰德首先将这个概念引入了计算机科学。1990年左右，像MIT的Sutton这样的年轻计算机科学家综合了逆向同步计划等问题，被称为强化机器学习。(4)机器学习的最新进展在算法的驱动下，机器学习得到了快速发展。-大量非线性数据(108-10)-算法的泛化能力注意事项-学习结果数据的说明-成本加权处理方法-不同数据类型的学习方法这些促进了机器学习的快速发展。依靠应用的驱动，解决实际问题需求的机器学习中也出现了很多领域的方法-学习流形机器-半监督机器学习-多实例机器学习-Ranking machine learning-数据流机器学习-图形模型机器学习但是，因为只依赖应用，所以主要要以课题为主，革新学习方法。部分机器学习还处于实验观察阶段，缺乏坚实的理论基础，还需要研究实际应用效果。(5)机器学习的挑战随着应用的不断深入，传统机器学习研究中出现了很多被忽略但很重要的问题。机器学习与很多学科交叉，交叉领域越多，问题也越多，这就是很大的优点。机器学习主要面临以下问题：1、传统ML技术基本上只考虑相同的价格，而“将盗用误认为正常使用的成本”与“将正常使用误认为盗用的成本”不同。如何处理成本敏感的问题也是机器学习要解决的困难。2、传统的ML技术基本上只考虑数据平衡。以信用卡盗用检测为例，“正常使用”样本比“盗用”样本多得多。如何处理数据不平衡在教科书中找不到答案。3、现有的ML技术基本上只考虑一般化，不考虑理解，应以癌症诊断为例，向患者说明“为什么要做这样的诊断”。如何处理利害性问题也没有规律。4、复杂的数据，大量。5、用户要求多样化。要求：(1)需要以科学为基础的科学高效的问题表达机器学习。(2)驱动应用程序成为必需的，特定应用程序的特定学习方法继续出现。(3)机器学习的检验问题只能在应用中检验自己。(4)对机器学习结果的说明将越来越重要。二、计算机信息安全机器学习与信息安全的结合可以在入侵检测系统、木马检测、漏洞扫描等多个点进行阻止。(1)入侵检测入侵检测技术是一种网络安全技术，它主动保护自己免受近20年来出现的攻击，可以在不影响网络性能的情况下检测网络，为内部攻击、外部攻击和滥用操作提供实时保护。收集和分析有关网络行为、安全日志、审计数据、其他网络可用信息和计算机系统几个关键方面的信息，以确定网络或系统是否有安全策略违规和攻击迹象。因此，入侵检测被认为是监控网络的防火墙后面的第二个安全闸门，而不影响网络性能。入侵检测通过监控、分析用户和系统活动等操作来执行功能。系统建设和脆弱性审计；确认已知攻击的活动模式，并警告相关人员。异常行为模式的统计分析；评估重要系统和数据文件的完整性。操作系统的审计线索管理和标识用户的安全策略违规行为。Smaba指出，从分类角度看，入侵包括6种类型：尝试性入侵、伪装攻击、安全控制系统渗透、泄漏、拒绝服务和恶意使用。机器学习在入侵检测技术中起着重要的作用，因此基于机器学习和人工智能的入侵检测模型和系统不断出现。提出了不同检测技术的入侵检测系统之间相互学习的入侵检测模型ZWP10、基于新发现算法的入侵检测系统GYN09等模型，丰富了机器学习在信息安全领域的应用。(2)木马检测网页木马是利用网页破坏的病毒，包含在恶意网页中，用脚本语言编写恶意代码，利用浏览器或浏览器插件所具有的脆弱性传播病毒。用户登录包含web病毒的恶意网站后，web木马将被激活，受影响的系统感染web病毒后，木马病毒、密码盗用等恶意程序将被移植。目前对web木马的分析方法主要分为动态分析和静态分析。动态分析主要有高交互式蜜罐和低交互式蜜罐。交互式蜜罐使用具有实际漏洞的系统，因此具有可以捕获零天漏洞的优点CH11。低交互是为了捕获恶意代码而进行的模拟漏洞，主要优点是没有发现部署和风险低、利用0天漏洞的未知攻击。静态分析主要是利用签名匹配识别恶意代码，与加密混淆存在严重困难。北京大学网络安全技术北京市重点实验室根据蜜罐技术提出了网络木马收集和播放方法CH11，尽可能收集和记录所有感染途径的信息，完整地收集了整个木马场景。然后，您可以根据使用Weka提供的决策树分类算法J48构建的决策树模型来确定每个网页属于哪个类别(3)漏洞扫描漏洞扫描通常使用两种策略。一个是手动策略，另一个是活动策略。手动策略是基于主机的，它检查系统中不适当的设置、脆弱的密码和与其他安全规则冲突的对象。主动策略基于网络，运行几个脚本文件以模拟对系统的攻击行为并记录系统的响应，从而发现漏洞。使用手动策略的扫描称为系统安全扫描，主动策略扫描称为网络安全扫描。漏洞扫描可分为四类：1、基于应用程序的检测技术。2、基于主机的测试技术。3、基于目标的漏洞检测技术。4、基于网络的检测技术。总结机器学习在众多学科中的应用显示了ML技术的前景，而机器学习与信息安全的结合必然会给信息安全领域带来新鲜血液，促进信息安全技术的质量发展。机器学习赋予计算机人脑，这将是另一种信息安全技术的革命。本文参考了相关领域著名作者的很多着作，为今后机器学习在信息安全领域的应用奠定了坚实的基础。参考文献WD03王勇。机器学习研究。中国科学院自动化研究所。2003AZ07安藤，张燕。机器学习方法研究。长治大学学报，2007.4版TY05坦营。机器学习研究及最新发展。北京大学智能科学系，2005年zh08周志华