【《基于Android恶意应用检测系统设计》8900字（论文）】

基于Android恶意应用检测系统设计摘要在Android占据世界第一的同时，Android软件的安全问题也越来越严重，越来越多的恶意软件已经开始对Android的安全造成了一定的影响，并且越来越多，越来越多样化，导致了传统的安全保护措施越来越难以奏效，因此，如何对恶意软件进行有效的识别已经是当前手机安全领域的一个重要问题。目前为止，检测恶意应用的方法主要包括基于行为检测和基于特征检测这两中方法，其中基于特征检测是检测APK中是否含有已知的恶意软件的特征码。（如特殊代码或字符串）。因此，本文采用了静态分析的方法进行恶意软件代码检测，其主要核心算法为森林算法。首先寻找大量恶意软件作为本次的实验材料，然后将Apktool放入代码中用其将大量恶意软件反编译，提取恶意应用在AndroidManifest.xml文件中申请的系统权限和smail文件中对Androidapi的具体调用次数并保存到数据库中，最后把提反编译待测应用的Apk文件，提取权限调用信息和api调用信息与数据空中的恶意样本进行比较，计算出相似度，根据相似度值判断是否为恶意软件及其所属恶意类型。本论文针对安卓恶意程序的特点，设计了基于Apktool的安卓恶意程序检测软件。在APK文档中进行了反编译和解压，并抽取了AndroidManifest.xml;android应用程序申请和申请的数量。通过比较，得到的结论是，该软件可以过滤掉大多数的恶意软件。关键词：恶意应用；检测系统；Android目录1绪论 11.1研究背景与意义 11.1.1研究背景 11.1.2研究意义 11.2国内外发展现状 21.2.1Android智能手机在互联网发展现状 21.2.2Android智能手机各种安全性问题 31.3主要研究内容 41.4论文章节安排 42相关基础知识与技术 62.1Android概述 62.2Android系统构架 62.2.1应用程序层 62.2.2应用程序框架层 72.2.3核心库 72.2.4Linux内核层和Android运行时层 72.3APK的基本格式的介绍 82.4OpcodeN—gram 83Android恶意应用检测系统设计与实现 103.1APK的反编译 103.2随机森林和决策树 113.3特征工程 113.3.1权限特征 113.3.2调用序列特征 123.4Dalvik指令的分类与描述 123.5提取特征 133.6系统实现过程 134实验结果与分析 154.1实验环境 154.1.1开发系统环境 154.2准备实验样本 154.3实验结果 164.4测试结果与分析 165总结 18参考文献 19 1绪论研究背景与意义1.1.1研究背景在上世纪八九十年代末期，恶意代码诞生了，随之人们就发明了反恶意代码的软件来对付恶意代码。早期时恶意代码的攻击手段很单一，采用的手段也很简单，大多数恶意代码都是采用单一的特征匹配的方法去攻击目标，因此人们在应对恶意代码时所用的检测方法的水平也很低。随着互联网迅速的发展，恶意代码的技术也随之提升，它们会在攻击过程转变自身的形态去躲避追查，但是当一个种类的恶意代码变异数量过多的时候，其形态已经奇形怪状，让反恶意软件已经很难去从中提取特征码。在这种恶意代码肆意妄为的情况下，广谱特征码诞生了，广谱特征码其原理就是把哪些变异的恶意代码中相似的一段代码进行分类，可以分成几个，几十个甚至几百个作为一组找出它们共有的特殊代码。无论是通过一个特征去普查还是广谱特征码，都必须要对恶意代码进行提取特征，然后根据特征才能检测其结果，但是基于这种条件下，反恶意软件只能一直被恶意代码丢在身后，所以为了去解决这个问题，可以检测未知和一些变异的恶意软件，随着反恶意代码的技术的提升，人们利用恶意代码中二进制文件的恶意行为来进行检测，这种检测方法就是启发式检测方法，归根结底这些方法都是静态检测方法，基于静态检测方法后人们还发明了动态检测方法，动态检测方法主要依赖动态扫描，动态扫描是在扫描恶意软件运行时去判断其是否具有恶意性的过程。尽管恶意软件检测技术的水平相对以前已经突飞猛进，但是基于静态检测的恶意代码检测方法依旧是主流，因为也是被运用最广泛的恶意代码查杀技术。1.1.2研究意义随着Android系统的迅速发展，Android软件所涉及的范围越来越广，其对应的恶意软件的数量也在迅速增长，因而导致对Android系统的安全带来了极大的影响，比如近两年最严重的电信诈骗，即使最后找回了罪犯，也难寻回钱财，所以这对用户的隐私和财产的安全造成了很严重的威胁。近几年以来，Android系统相对于IOS系统一直在中国占着主导地位，因为Android平台的开放性和开源性，导致很多的恶意软件没有经过正规的安全审核就可以让用户去下载安装，这让很多Android用户很容易成为恶意软件攻击的对象，严重的甚至威胁到了国家的安全。因此，本文首先介绍了近几年Android恶意软件的增长情况和和危害，然后介绍了一些不法分子利用恶意软件攻击Andoroid平台的经典案例。因此，基于随机机器学习算法面向Android的手机恶意软件检测系统的研究是具有重大的现实和理论意义的，它可以让Android用户在使用手机时可以更好的保护自己的财产和隐私安全。1.2国内外发展现状根据网络安全公司CrowdStrike发布的一本报告，与前一年相比，2021年的恶意软件增加了35%，与2020年相比，Mozi的恶意样本数量在2021年增加了900%，XorDDoS的样本数量也增加了123%，Miral的三个变种Sora、IZIH9和Rekai在2021年分别增加了33%、39%和83%，更具体的说报告称针对各种物联网(IoT)和移动设备的Linux恶意软件激增，其中一些恶意软件使用物联网来产生大规模的僵尸网络大军以执行分布式拒绝服务(DDoS)攻击。这些病毒最主要的攻击方式为远程操控，窃取隐私，恶意扣费，电信诈骗。其中隐私窃取是危害性最大的攻击方式。其中典型攻击事件有FakeSystem木马惊险新变种，百万Android设备沦为肉鸡等。目前国内外许多研究学者和安全公司都对Android平台恶意应用的检测做了大量研究，经查阅，其中对特征提取和分类环节所作的研究项目最多，其所用方法有静态检测，动态检测，混合检测。例如中国的360，作为全球顶级移动安全生态实验室，致力于Android病毒分析以及安全预警等领域进行深度研究。1.2.1Android智能手机在互联网发展现状近几年，由于移动Internet的迅速发展和硬件技术的发展；随着互联网技术的发展，智能手机的数量迅速增加[1]。与传统的手机相比，智能手机有许多新的特点：可以无线联网，随时可以存储大量的个人数据，PDA功能,开放性的操作平台，人性化，超快的运行速度，功能强大，这些功能让智能手机可以安装更多的软件，从而使其功能更加的完善。现在，智能手机的应用已经渗透到了人们的生活和工作中。在智能手机上安装了各种各样的软件，让人们生活方式上更加的方便，也大大的提高了工作效率，因此，手机作为移动终端已经成为了人们日常工作中必不可少的一部分。中国资讯通讯研究所公布的《互联网发展趋势报告(2021)》白皮书介绍，截至2021年6月国内整体网名规模达到10.11亿，手机网民规模达到10.07亿，相较于20年，我国整体网民增长幅度为7.5%，手机网民增长幅度为8%，如图1.1所示。图1.12020到2021国内全体网民人数对比1.2.2Android智能手机各种安全性问题随着智能移动终端的使用越来越多，攻击者开始从传统PC转向智能移动终端。Android智能手机受到越来越多的各种类型的安全威胁[2]。传统功能手机功能简单，缺乏应用软件，软件基本都是手机厂商自己开发的，所以传统功能手机并没有为恶意软件提供生存的系统环境。安卓系统智能手机的情况就完全不同了。智能手机丰富的功能依赖于第三方应用，所以安卓系统比较开放，大部分应用软件都需要从第三方应用市场下载安装。此外，由于用户各种生活场景和工作都需要使用手机，手机中存储了大量的隐私数据，因此智能移动终端成为恶意攻击的主要目标。Android系统功能强大，操作方便。同时其开源吸引了众多开发者，使得Android平台的智能移动终端吸引了大量用户，也使得Android系统成为市场占有率最高的智能手机系统。但由于Android系统的开源性，即Android系统的各类源代码都是开放的，恶意攻击者更容易发现系统漏洞。同时，安卓应用市场的开放性和不规范管理，使得任何组织或个人开发的任何应用都可以上传到安卓应用市场，供用户随意下载安装。因此，这开放的平台让Andorid软件使用的数量快速增长，这导致Android成为不法分子利用恶意软件攻击的主要目标，用户的安全问题十分严峻。1.3主要研究内容本文首先将Android近几年的发展资料详细介绍了一遍，然后介绍了恶意软件的背景，通过对Android恶意软件的危害得知研究此系统的重要性，也了解了国内外现缺的技术，为此学习了Android的基础知识，包括机器学习算法，决策树，Dvlaik等。在网上寻找恶意样本正常代码样本从安卓市场下载；恶意代码样本数据来源于Drebin项目。研究了Android应用程序的特征提取方法。通过APKtool反编译技术与Java中的解压缩技术提取了Android应用的数字签名与申请的权限，然后把提取的权限特征数字化。研究了权限特征之间的相关性，用于最后的比对相似度时使用。设计并实现了恶意软件检测系统的服务器端。1.4论文章节安排论文结构安排如下：第一章是绪论，本章节首先介绍此次研究的背景和意义，然后介绍了Android智能手机的各种安全问题以及发展现状，了解到恶意软件对网络用户造成的危害和钱财的损失，最后介绍了本文的章节安排。第二章是开发恶意应用检测系统使用的相关基础知识和技术还有本次开发所用到的核心技术以及机器算法的研究。详细的介绍了APK的基础结构，Android系统结构和Android的安全问题。第三章是系统的实现。详细介绍了此次实验的过程。第四章介绍了本次实验系统开发的环境，将本次实验与支持向量机算法的实验结果进行对比，更好的突出结果。第五章项目总结。回顾整个系统的开发过程，阐述在系统开发过程中的感悟和收获。2相关基础知识与技术本章先是对Andorid的概念进行一个大体的描述，然后介绍了Android的系统架构，以及APK等理论知识，这些基础知识对于研究Android恶意软件检测系统有很大的帮助。本章节不仅仅介绍了Android系统的相关知识，还学习了静态检测N-gram的基础知识，这为本文设计研究而已软件检测系统打下了夯实的基础。2.1Android概述Android是一款基于Linux的开源操作系统，用于智能手机和平板电脑等移动设备[3]。Android是由谷歌和其他公司领导的开放手机联盟开发的。Android为移动设备的应用程序开发提供了统一的方法，这意味着开发人员只需要为Android开发，他们的应用程序应该能够在不同的Android设备上运行Android软件开发工具包（SDK）的第一个测试版由Google于2007年发布。Google公司从发布了第一个版本的Android系统以来，android系统已经更新了几十个版本，并且逐渐成为智能移动终端上最主流的操作系统。2.2Android系统架构Andorid系统架构[4]分为四个部分，分别为：应用程序层、应用程序框架层、核心库和Android运行时层、Linux内核层。2.2.1应用程序层应用程序层[5]其主要作用是让用户与程序之间形成交互所产生的应用程序集。这些程序集大体上可分为两类，一类是系统本身自带的应用，比如应用市场、闹钟、短信、通话、Email、日历、浏览器、手电筒等。第二类主要是用户安装的第三方应用程序，用户可以通过手机上的应用市场或者浏览器等下载安装自己需要的应用，例如：社交类APP、游戏APP、服务类APP等。2.2.2应用程序框架层应用程序框架层是在Android程序库和运行的时候上面的。因为Android有开放性的平台这个特性，使得Androdi的开发者可以访问其核心程序所使用的API框架，这可以可以大大的降低其复杂程度，其组件可以由繁化简，这样所有的应用都可以公布自己的功能并且其他程序都可以使用这些功能但要遵守框架执行的安全限制。因此Android开发者可以创造出各种各样的应用程序，随时的去利用设备上的任何功能[6]。应用程序框架层包含的模块有:活动管理器:其主要功能是控制管理每个应用的生命周期，并且提供了手机上常用的返回功能。资源管理器:主要负责向用户提供访问权限，访问非代码资源，比如图形文件，布局文件等。内容提供器：主要功能是让应用程序之间互相可以访问和共享彼此的数据。例如：短信和通讯录。通知管理器:通俗的说就是手机中当应用有变动时会在状态栏上提示自己的信息。2.2.3核心库核心库指的是Android系统中含有一个C/C++库的集合，这个库中的内容可以提供给系统的组件去自由使用，开发者可以利用应用程序框架来使用这些功能。2.2.4Linux内核层和运行时层Android的核心系统服务基于Linux2.6内核，比如内存管理、应用进程管理、网络连接、各种驱动、系统的安全性等全依赖于该内核。Linux内核层的主要功能就是位系统添加了硬件驱动，例如，显卡驱动，鼠标驱动，键盘驱动,WIFI驱动，蓝牙驱动，音频驱动，BinderIPC驱动等，这些驱动让Android能成功运行提供保障[7]。在Linux内核层之上还有Android运行时层，该层与Linux内核层的内存管理功能相仿，里面主要包括Dalvik和Java核心库，Dalvik虚拟机的功能需要依靠Linux内核提供帮助而Java核心库为Java编程语言提供了很多帮助。2.3APK的基本格式的介绍APK[8]是Android应用软件安装包，顾名思义就是一个压缩文件，其格式为ZIP格式，它与JAR文件格式相仿。它的互联网媒体类型是application/vnd.android.package-archive。当把APK文件改成ZIP解压后就可以得到其组成，分别为AndroidManifest.xml、META-INF目录、classes.dex文件、resources.arsc、res目录、ib目录、assets目录。其中每个应用都必须包含的是AndroidManifest.xml，它描述了应用的名字，版本，应用的库文件等等信息。APK中的AndroidManifext.xml是二进制文件，如果直接打开的话会显示一堆乱码，这时就需要用到ApkTool工具进行反编译。本文主要将Apk的反编译软件ApkTool工具放入代码中，然后把搜集道德恶意软件Apk放入文件夹中，运行系统后可自行进行反编译，然后将所得到的数据保存到数据库中。2.4OpCodeN-gramOpCodeN-gram[9]可以说是一种语言处理的模型概念，比如我们用到的浏览器，当输入一个字时，此时浏览器就会通过联系可以列出其他词，这就是基于N-gram模型实现的，它也可以运用到检测恶意代码的分析当中，原理是对恶意代码提取N-garm特征，其中N可以取值为6，7，8等。如图2.2表示对一个smali格式文件的N-gram。图2.1Smali汇编文件图3Android恶意应用检测系统设计与实现该系统实现了将Apk文件放入指定文件夹，使用Java语言在Windows环境下执行apktool工具的反编译命令，反编译Apk文件，提取特征集，与恶意样本集比较计算出相似度，根据相似度判断是否为恶意软件，系统各个模块功能都实现了自动化，系统流程图如图3.1所示。3.1APK的反编译apktool工具是在smail工具的基础上进行升级的，除了有反编译和汇编DEX的文件外[10]，还可以将APK中已经被编译过的文件进行反编译和重新编译。编译APK的步骤这要是，根据文件和AndroidManifest.xml生成R.Java文件，然后编译文件生成对应的Java文件，同时生成的Java文件也会被编译成相对应的class文件，接着把calss文件打包成dex文件，生成初始的Apk软件包，然后对其进行签名。本文是直接把Apktool工具放入代码中，然后将APK文件直接放入文件中，让其在系统运行时自行的进行反编译。而不是使用samli工具。如图3.1所示：图3.1APK反编译命令成功后会提取AndroidManifest.xml文件和Smail文件到decompile\包名目录下，文件反编译完成，提取文件，任务完成。temPath编译生成文件临时保存路径，id数据库中保存的apk的编号；smali/反编译生成的smali源码文件目录；其中，smali目录结构对应着原始的java源码src目录。3.2随机森林和决策树随机森林时一种集成算法（EnsembleLearing）[11]，它属于Bagging类型，将多个弱分类器组合成一个强大的分类器，然后通过最终结果取得其平均值，让整体模型的结果具有单个分类器的结果准确度更精准也更性能化，其可以取得非常不错的结果，主要归功于“森林”和“随机”，一个使他更加的准确，一个可以让他具有抗过拟合能力。建立一个森林所用方式是随机的，里面包括很多的决策树组成，但其中的决策树是没有一颗有关联的。在建好一个随机森林的时候，将一个新的数据放入其中，让森林中的所有决策树对这个数据进行判断，判断这个数据应该属于哪个决策树，然后那一棵树选择的最多，这个数据就属于它。例如，有6个箱子只有一个箱子里有物品，让n个人去找，每个人可以找到的概率为p（p略高于六分之一，这里的每个人都可以当成一个弱分类器），他们的判断过程独立且互相不影响，最终以多数人为准则。这里我们不用数学公式去推导，采用一个生活简单的例子，用掷骰子的表现，投掷一颗正常的骰子，在投掷n次的结果中，数字1到6的出现的次数基本上都是一致的，但是使用一个数字有相同的骰子，如果出现相同的数字的概率略大于其他数字，那投掷n次的结果中出现相同的数字的次数的概率就会比出现其他数字的概率要大很多。所以即使每个分类器的准确度不高，但是结合在一起时就可以变成一个强分类器。3.3特征工程3.3.1权限特征Android系统的权限定义文件为AndroidManifest.xml，其系统是具备严格的权限管理机制[12]。如过用户要访问一些特定的功能或者危险的数据时都需要用户明确向应用授予该权限。比如使用微信时，当不使用发送消息的功能时，微信不会去自动发送信息，也不会获取读写信息的权限。但恶意软件却不相同，它本身的代码会使得它可以通过特殊手段去获取权限，例如收费类恶意应用会申请PEAD_PHONE_STATE权限去向用户发送垃圾短信。但是现在很多正常的应用也会申请使用信息功能的权限，因此只通过应用程序是否申请了权限去判断它是正常还是恶意应用，很难判断，但通过数据却发现很多的恶意应用都会使用此权限，其中使用频率较高的包括:INTERNET、READ_PHONE_STATE、SEND_SMS、等等。由此可见，当恶意软件使用权限时会从一个方面体现出恶意软件的一些特定的行为特征，因此本文所用的提取特征向量为权限特征。3.3.2调用序列特征应用软件在完成网络访问、文件读写和其他资源访问的时候必须要调用API，因为API是操作系统提供给应用软件的服务性接口。当恶意程序实现一个功能函数时，它也会调用具有类似函数的API函数。综上，这种通过提取API函数调用序列的特征量来识别恶意软件的行为是一种很常见的做法[13]。3.4Dalvik指令的分类与描述安卓系统保留了很多Dalvik机制，Smali是对DVM字节码的一种解释，虽然不是官方标准语言，但所有语句都遵循一套语法规范。由于Dalvik指令有两百多条，对此需要进行了分类与精简，去掉了无关的指令，只留下了M、R、G、I、T、P、V七大类核心的指令集合，并且只保留操作码字段，去掉了参数。M、R、G、I、T、P、V七大类指令集合分别代表了移动、返回、跳转、判断、取数据、存数据、调用方法七种类型的指令，对指令进行了一次分类与描述[14]。具体见图2.1：图3.2Dalvik指令的分类与描述3.5提取特征本文采用了静态分析的方法，对Apk提取特征，首先将磁盘中的恶意软件样本数据添加（刷新）到tb_samples表中，然后将恶意软件进行反编译，提取AndroidManifest文件和smail文件到指定文件夹下，每次解析一个软件类型下的所有smail文件，List中每一个元素（Function）的count字段，即表示该方法在该软件类型样本集中总的出现的次数。图3.3系统流程图3.6系统实现过程数据库预处理先反编译大量恶意软件样本的apk文件提取恶意应用在AndroidManifest.xml文件中申请的系统权限，保存到数据库中。提取和统计smail文件中对Androidapi的具体调用和调用次数，保存到数据库中。恶意检测反编译待测应用的apk文件，提取权限调用信息和api调用信息。与数据库中的恶意样本进行比较，计算出相似度。根据相似度值判断是否为恶意软件及其所属恶意类型。使用导入数据库文件：malware.sql，数据库共有172个恶意软件的数据。Main.java文件的main方法是程序的执行入口。init()方法用于数据库预处理，将恶意apk文件存放到D:\Decompile\decompile下对应目录中，之后注释detection()方法，执行init()方法。注释init()方法，执行detection()方法会开始进行恶意检测，在此之前需要将待测apk文件放到这个目录下：D:\Decompile\decompile\test_sw，检测结束后结果会显示在idea的控制台中。如图3.3所示：图3.4实验结果图4实验结果与分析介绍该系统的开发环境，同时说明了收取实验数据的途径，最后对系统进行了测试，并且对结果进行分析。4.1实验环境实验是在处理器为Intel（R）Core（TM）i58300HCPU@2.3GHz，运行内存为16G的电脑上完成，操作系统为Windows开发系统环境本系统开发的过程当中使用的开发环境以及开发工具如下：操作系统：windows10开发的工具：IntelliJIDEA虚拟机：DvlaikDVM使用工具：Apktool开发语言：Java4.2准备实验样本此次实验的可靠性和覆盖性，本文的实验数据分为恶意软件样本与正常软件样本。正常的软件可以从手机安卓市场直接免费下载；恶意软件的样本全部来自于Drebin项目。然后将176个恶意样本放入了数据库，这些样本覆盖了百分之95的不同的病毒应用类别，让每次放入的Apk文件能够准确的测出与数据库中恶意样本的相似度。178种恶意代码家族的数据量分布如图4.1：图4.1恶意代码家族数量分布4.3实验结果本次实验结果与基于支持向量机算法的恶意检测系统的对比[15]。表4-1随机森林算法和支持向量机算法结果对比算法支持向量机算法森林随机算法样本集500个恶意软件500个正常软件200个恶意软件200个正常软件实验时间30min60min软件无法识别1%3%实验准确率93.78%92.20%通过上表可以看出本文提出的基于森林随机算法的恶意检测系统与基于支持向量机算法的系统准确率略低，但本文所用的恶意软件样本数量较少，所以整体系统的检测准确率要比对比的系统低很多，而且在反编译APK时需要消耗大量的时间，但设计本文系统时难度会比其他算法略低，希望下次可以结合其他算法设计一个更好的检测系统。4.4测试结果与分析确率与误报率方面，根据400个实验结果的统计准确率可达百分之92，如图4.2所示，其中可知道Precision（查准率）=0.922。因为本文提出的Android恶意应用检测系统的方法为最基础的方法，所以整体看其实验准确率和软件无法识别率来说表现一般，但相对于其他检测方法效果略低。如果可以结合其他的特征，应该还可以进一步的提高准确率。希望下一次研究可以得到更好的结果。图4.2实验结果图5总结对于安卓恶意软件检测系统的实现，本人花费了大量的时间去查询资料，了解了恶意软件检测系统开发所使用的技术要求和开发所需的功能需求。虽然系统的开发不是那么容易，中间也遇到了很多的挫折和挑战，但最后我也一一克服，完成了恶意软件检测系统的设计。本次商城系统的功能点很多，每一个功能实现起来都有一定的难度，此时就需要自己静下心来，思考下一步需要去做什么，怎么样去做才能把这