基于程序运行踪迹层次结构的异常检测技术研究.doc

基于程序运行踪迹层次结构的异常检测技术研究1、 项目研究意义 随着社会信息化的快速发展，网络安全问题变得越来越严重。其中，利用各种服务器程序中存在的安全漏洞进行网络攻击，包括破坏网站资源、盗窃机密文件、传播网络蠕虫等等，已成为网络社会中的头号公敌。特别是利用新发现的安全漏洞进行的网络入侵，由于攻击方法和特征未知，给网站安全保卫工作带来巨大困难，造成的损失也是难以估量的。为了摆脱这种被动局面，必须另辟途径，找到检测未知模式入侵的有效方法，即所谓的“异常检测”技术。目前，国际上已有多种方案可以在一定程度上检测异常，但也存在多种缺点，例如检测结果模糊、无法定位攻击源、不能分析攻击事件等等，这些缺点严重制约了这项技术的实际应用。本项目的研究是一种新的探索，旨在解决上述问题，从而促进对日新月异的新型网络入侵手段的防范，对推动我省各行业信息化的健康安全发展具有重大的意义。2、 项目研究目标及与申请者研究工作长期目标的关系本项目的研究目标是：研究并实现网络服务器的异常检测系统，提供未知模式入侵的早期预警，对入侵者的行为进行监视，精确定位攻击来源，为入侵事件的分析确认以及快速反应提供必要的情报支持。本项目申请者的主要研究方向是人工智能与网络安全。从攻读博士学位时开始，就致力于将人工智能技术融入到网络安全领域，期望研发先进的、智能化的网络安全产品。入侵/异常检测系统是申请者长期研究目标的重要组成部分。在入侵/异常检测的基础上还可以进一步自动分析入侵机理、自动快速反应以及多个网络站点之间的自动协调，共同抵御入侵。3、 项目研究内容，研究方案和进度安排本项目通过对服务器程序运行时产生的系统调用踪迹特征的研究，建立服务器程序行为的层次结构模型，在此基础上通过机器学习，生成服务器程序正常行为模式的上下文无关文法描述。于是，异常检测就转化为语法分析问题。为了能够分析异常事件，可以为文法产生式附加语义标注，利用语法制导的语义分析技术可以跟踪相应异常用户的行为。本项目的关键技术是服务器程序行为的分割算法以及服务器程序正常行为模式的学习算法。前者将服务器运行踪迹按层次结构模型分割成越来越小的结构块，这是整个项目的基石；后者则是将服务器程序正常行为模式归纳成文法描述形式，它决定了项目系统能否得到正确结果。本项目的技术路线：关键技术自主开发，包括服务器程序行为分割算法及正常行为学习算法的设计。另外，语法分析及语义分析采用现成的YACC软件工具包，底层通信支持模块采用已公开源码的Beepcore-C库。本项目的实验论证工作在LINUX平台上完成，程序设计语言采用适合系统编程的C语言。实验系统图示如下：系统调用跟踪程序 网络服务器模拟入侵程序学习程序、语法分析程序 分析机 攻击机实验系统采用Multi-Agent结构：数据采集Agent运行系统调用跟踪程序，负责收集服务器程序运行踪迹数据并通过网络发送给分析机；主控Agent负责学习及分析工作，检测状态时执行的是语法分析功能，训练状态时运行的是学习程序，两种状态之间通过控制台切换。另外一台机器上模拟正常用户及异常用户对网络服务器的访问行为。本项目的研究时间为一年，其中1月3月进行理论准备，46月进行算法设计，7月10月完成代码编写、调试及仿真测试，11月完善实验原型系统，12月进行最后测试。4、 项目创新之处异常检测通过监视网络环境中某些对象（用户、程序、网络流量等）的行为，看其是否偏离事先建立好的的正常行为轮廓来发现入侵事件。相对于其它对象而言，程序因为其正常行为空间狭小且稳定而备受关注。基于程序的异常检测通过监视程序运行踪迹，即程序运行期间产生的系统调用序列，来检测程序的异常行为，从而发现潜在的网络入侵，其关键问题是如何构造程序的正常行为轮廓。一种途径是通过分析程序源码，对程序可能出现的各种正常运行踪迹预先进行定义，然而这种途径存在两大缺点：第一，程序源码不易获得，特别是特定行业的专业软件；第二，现代软件的源码极为庞大和复杂，所用语言及编程风格各不相同，这使得分析工作的难度与复杂度相当高。因此，更一般而且简单有效的途径是从正常运行踪迹中学习程序的正常行为轮廓。目前，这类方法主要有三种： 短序列法认为程序正常行为由大量局部模式组成，通过列举固定3或可变长度的系统调用短序列，可以建立一个局部模式数据库；规则法对局部模式进行了简化，它采用数据挖掘技术，用一些具有代表性的系统调用构建局部模式的预测模型，并以一组规则表示；状态法从全局考察程序运行踪迹，用有穷自动机或虚拟路径图模拟程序的正常执行流程。以上方法都是从线性角度分析程序运行踪迹的，由于数据模型限制，基于这些方法的检测系统发现异常时，除了发出简单模糊的报警信号之外不能提供其它有用信息。实际应用中，异常事件被检测到后,仅仅给出一个模糊的报警信号是不够的。管理员在接到报警后一般都想知道：发生了什么？是虚警还是真正的入侵？怎么发生的？入侵者来自哪里？现有的异常检测方法很难回答这些问题。实际上，遭到攻击的一般都是以请求-应答方式工作的服务器程序。通过长期观察分析，我们发现这类程序的运行踪迹具有层次特征，这种特征与服务器程序的设计理念完全吻合，即：首先进行一些初始化工作，然后等待远程用户与它建立连接，成功建立连接后便接收用户的各种服务请求，经过特定处理后将结果回送用户；整个会话过程结束后便关闭此次连接，继续等待下一次会话；因此，服务器程序的运行踪迹可以由一种以系统调用为基元的层次结构模型表示，如下图所示。 运行踪迹 活动 活动 事务 事务 事务 操作 操作 系统调用系统调用 系统调用系统调用因此，只要在该模型的基础上建立程序正常行为轮廓的结构化描述，前面提到的各种问题就可以得到解决，这就是本项目的研究思路。本项目的创新之处： 提出并验证服务器程序运行踪迹的层次结构模型，在此基础上提出一种新的异常检测方法，该方法解决了以往方法由于数据模型限制除了发出简单报警而无法提供其它有用学习的问题，使得异常检测系统不仅能够早期预警，而且能分析入侵现场并提供包括入侵者IP地址在内的大量有用信息，从而为快速反应部门提供可靠的情报支持。5、 工作基础与工作条件本项目的申请者自2000年以来一直致力于网络安全技术的研究，曾以主要实现者的身份参与国家信息安全中心的多项科研项目，其中的“基于Multi-Agent结构的综合网络智能安全防护系统”与本项目研究直接相关，其体系结构以及部分代码都可以移植过来。另外，本项目组的其他人员都具有博士或硕士学位，工作经验丰富。硬件方面，本项目依托单位的网络应用相当发达，网络安全事件也时有发生，这就为本项目的研究提供了优越的实验平台。6、 预期研究结果及其利用研究结果的计划和今后发展的思路 本项目预期研究结果为一个实验原型系统，据此，可以发表13篇高质量的科研论文。原型系统经过完善，首先可在项目依托单位的网络环境中投入试运行。如果性能稳定可靠，便可以在全省的企事业单位推广应用，并期望扩散到其它省市。后续研究工作是对已被检测出来的入侵事件进行特征分析与提取，并解决跨地域网络之间的协调与信息共享问题，共同抵御网络入侵。资助渠道可以是政府部门设立的各项基金以及项目依托单位的配套拨款，也可以与企业单位合作研发。7、参考文献1. Wagner D, Dean D. Intrusion Detection via Static AnalysisJ. IEEE Symposium on Security & Privacy, 2001,page(s):156-168 2. KO C,Fink G,Levitt K. Automated detection of vulnerabilities in privileged programs by execution monitoringA. Proceeding of the 10th Annual Computer Security Applications Conference C. Orlando: IEEE, 1994. pages: 134-144.3. Henry H F, Giffin JT, Huang Y, et al. Formalizing sensitivity in static analysis for intrusion detectionJ. 2004 IEEE Symposium on Security and Privacy . IEEE Computer Society,2004,Pages:194 - 2084. FORREST S, HOFMEYR S A,SOMAYAJI A, et al. A Sense of Self for Unix Processes A. IEEE Symposium on Computer Security & PrivacyC. Los Alamos CA: IEEE, 1996: pp.120-1285. Eskin E, Lee W,Stolfo S J. Modeling system calls for intrusion detection with dynamic window sizesJ. Proceedings of DISCEX II.2001 vol.1 Page(s): 165 1756. Wespi A,Dacier M,Debar H.Intrusion Detection Using Variable-Length Audit Trail Patterns A. Proceeding of the 3rd International Workshop on the Recent Advances in Intrusion Detection (RAID2000)C.Toulouse,France,2000 pp.110-1297. LEE W,Stolfo SJ,Chan PK, et al. Real time data mining-based intrusion detectionA. Proceeding of the 2nd DARPA Information Survivability Conference & Exposition IIC. Anaheim: IEEE, 2001. 89 100.8. 徐明,陈纯,应晶.基于系统调用分类的异常检测(英文)J.软件学报,2004,15(3):391-403XU Ming, CHEN Chun, YING Jing. Anomaly Detection Based on System Call Classification J.Journal of Software, 15 (3):391-403 ,20049. 蔡忠闽,管晓宏,邵萍,等.基于粗糙集理论的入侵检测新方法J.计算机学报,2003 Vol.26 No.3:367-372CAI ZhongMin, GUAN xiaoHong, SHAO Ping, et al. A New Approach to Intrusion Detection Based on Rough Set TheoryJ.CHINESE JOURNAL OF COMPUTERS, Vol.26 No.3 Mar.2003 pages 36737210. Michael C, Ghosh A. Simple,state-based approaches to program-based anomaly detectionJ.ACM Trans- actions on Information & System Security (TISSEC). Volume 5,Issue 3 (August 2002 )Pages: 20323711. SEKAR R, BENDRE M,DHURJATI D, et al. A fast automaton -based method for detecting anomalous program behaviors A. IEEE Computer SocietyC, Oakland, CA: IEEE, 2000, Page(s): 144155.12. Henry H F, Oleg M K, Prahlad F, et al. Anomaly Detection Using Call Stack Information J.IEEE Symposium on Security & Privacy, 2003: 62-7513. Chari SN, Cheng PC. BlueBoX: A policy-driven, host -based intrusion detection system. ACM Trans. on Information & System Security.2003,6(2):173200.14. Uppuluri P, Sekar R. Experiences with specification-based intrusion detection. In: Lee W, M L, Wespi A, eds. Proc. of the 4th Intl Symp. on Recent Advances in Intrusion Detection. Davis: Springer-Verlag, 2001. 172189.15. Sekar R, Bowen T, Segal M. On preventing intrusions by process behavior monitoring. In: Proc. of the USENIX Intrusion Detection Workshop. Santa Clara: USENIX, 1999. 2940.16. Tan K, Maxion R. Why 6? -Defining the operational limits of stide, an anomaly based intrusion detector. In IEEE Symposium on Security and Privacy, pages 188-201, Oakland, California, May 2002.17. Ko C. Logic induction of valid behavior specifications for intrusion detection.Security and Privacy, 2000. S&P 2000. Proceedings. 2000 IEEE Symposium on , 14-17 May 2000 .Pages:142 15318. Giffin J, Jha S, Miller B. Efficient context-sensitive intrusion detection. In 11th Annual Network and Distributed Systems Security Symposium(NDSS), San Diego, California, February 2004. http:/ /giffin04efficient.html 19. Giffin J, Jha S, Miller B. Detecting manipulated remote call streams. In 11th USENIX Security Symposium, San Francisco, California, August 2002.20. Rigoutsos I, Floratos A.Combinatorial pattern discovery in biological sequences: The TEIRESIAS algorithm. Proceedings of the 1998 Bioinformatics. vol.14 no. 1.pages 55-67,1998.21. Ko, C.; Ruschitzka, M.; Levitt, K. Execution monitoring of security-critical programs in distributed systems: a specification-based approach. Security and Privacy, 1997. Proceedings., 1997 IEEE Symposium on ,4-7 May 1997 Pages:175 - 18722. Sandeep Bhatkar, Daniel C. DuVarney, and R. Sekar,Address Obfuscation: An Efficient Approach to Combat a Broad Range of Memory Error Exploits .Proceedings of the 12th USENIX Security Symposium.Pp. 105-120 ,200323. Gaurav S. Kc, Angelos D. Keromytis, Vassilis Prevelakis. Countering code-injection attacks with instruction-set randomization Proceedings of the 10th ACM conference on Computer and communication security (October 2003)24. Julian, M.D.P.; Rowe, N.C.; Michael, J.B.;Experiments with deceptive software responses to buffer-overflow attacks.Information Assurance Workshop, 2003. IEEE Systems, Man and Cybernetics Society , 18-20 June 2003 .Pages:43 4425. Warrender, C.; Forrest, S.; Pearlmutter, B.;Detecting intrusions using system calls: alternative data models.Security and Privacy, 1999. Proceedings of the 1999 IEEE Symposium on , 9-12 May 1999 .Pages:133 14526. Harmer, P.K.; Williams, P.D.; Gunsch, G.H.; Lamont, G.B.;An artificial immune system architecture for computer security applications.Evolutionary Computation, IEEE Transactions on , Volume: 6 , Issue: 3 , June 2002 .Pages:252 28027. Michael, C.C.;Finding the vocabulary of program behavior data for anomaly detection.DARPA Information Survivability Conference and Exposition, 2003. Proceedings , Volume: 1 , 22-24 April 2003 .Pages:152 - 163 vol.128. Hangal, S.; Lam, M.S.;Tracking down software bugs using automatic anomaly detection.Software Engineering, 2002. ICSE 2002. Proceedings of the 24rd International Conferen