引擎优化之路与“芯”探索-安天引擎的效率改善回顾与展望

——安天引擎的效率改善回顾与展望安天技术委员会威胁框架：细粒度对抗威胁框架：细粒度对抗CONTENTS01安天引擎的发展历程02引擎效率优化回顾03基于异构计算的威胁检测04引擎加速芯片展望威胁框架：细粒度对抗威胁框架：细粒度对抗安天引擎的发展历程Page4威胁框架：细粒度对抗威胁框架：细粒度对抗安天引擎的发展历程Page5威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗Page7威胁框架：细粒度对抗在目标达成与资源消耗矛盾中不断挑战与突破的20年•反病毒引擎是一组可扩展的程序模块，该程序模块在相配套的数据描述集合的支撑下来完成对病毒的检测和清除，而这一数据描述集合则被通俗地称为“病毒库”或者•对象格式的不断丰富•对象大小的快速膨胀•对象复杂度的不断提高导致模块日趋膨胀，分支越来越多，规则海量扩展2000-2013恶意代码的变种总量统计1000000080000006000000400000020000000由于卡巴斯 基后台分析 与同源合并2000-2013恶意代码的变种总量统计1000000080000006000000400000020000000由于卡巴斯 基后台分析 与同源合并 一些病毒家 族和变种发 此无法连续 体种类膨胀 超过400倍。60000004000000200000002006/11/102012/11/272013/11/42000/10/242006/11/102012/11/272013/11/4WormVirusTrojanWormVirusHackToolSpywareRiskWareHackToolSpyware分类/日期2000/10/24Worm354049435247Virus21006277602994030060726209484237514968217502301076Spyware48992145703407510258002014012015-2018恶意代码的变种总量统计2015/6/252018/9/4WormVirus Trojan HackToolSpywareRiskWare2015/06/252018/09/0429397299803283882528900662234440133844580352020年安天样本库恶意代码变种数Trojan10,338,715Virus49,430Worm276,946HackTool385,361RiskWare1,055,4932020年安天样本库恶意代码变种数Trojan10,338,715Virus49,430Worm276,946HackTool385,361RiskWare1,055,493GrawWare2,640,863总计14,746,8082020年恶意代码检测规则数总计52,684,4462000年安天病样本恶意代码变种数Trojan3,066Virus21,006Worm512HackTool260RiskWare0GrawWare37总计24,8812000年安天引擎检测规则数总计约6000条2020年云检测规则数总计664,870,674安天引擎的检测本地规则数量，由2000年的不足1万条，增加到2020年超过5000万数量膨胀基本一致。2020安天引擎可识别文件格式规则文件格式规则数41,292,256安卓7,918,221脚本1,219,258ELF189,332宏病毒141,812溢出6,430其他文件191,7132020安天引擎可解析格式文件格式种类数软件数据包裹41可执行格式41媒体35文档31图片22文本脚本9其他文件7核心行为标签AdToolEmailP2PSpoofAdWareExploitPackedSpyArcBombFakeAVPorn-DialerSuspiciousPackerAVToolFlooderPorn-DownloaderToolBackdoorFraudToolPorn-ToolVirToolBadJokeGameThiefProxyWebToolbarBankerGarbagePSWModifierClickerHackToolPSWToolAutoRunClient-IRCHoaxRansomInjectorClient-P2PRemoteAdminPhishingClient-SMTPRiskToolToolbarConstructorJokeRootkitKeyLoggerCrackToolMailfinderServer-FTPFilecoderDDoSMonitorServer-ProxyAdDisplayDialerMultiPackedServer-TelnetLockScreenDoSServer-WebSpammerDownloaderNetToolSMSHLLWDropperNotifierSpamToolSnifferBundlerRoguePage10主机引擎（2000年）•引擎发展选择了在主机侧快速检测清除木马，并进行系统关键点修复的技术路线•有效还原被害系统10000000800000060000004000000200000002000-2013恶意代码的变种总量统计2000/10/242006/11/102012/11/272013/11/4WormVirusTrojan HackToolSpywareRiskWare威胁框架：细粒度对抗Page11威胁框架：细粒度对抗网络侧引擎（2002年•当时网络上病毒蠕虫已经多达数万种，但网络协议栈性能并不足以支持当时主流•对大量恶意代码重新提取特征，用于高速在线静态匹配采用基于x86通用平台还是专用硬件？•此外还有用于防火墙的包头处理专用硬件芯片•GPU适合处理逻辑简单、能高度并行的计算•在反病毒引擎中，哈希计算、模式匹配适合GPU来完成，而各环节的衔接调度、预处理、解包等操作，还是适合CPU执行•安天在科研项目中研发了AvlScope、AvlScope2硬件加速方案Page12威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗03基于异构计算的威胁检测基于通用计算平台的高速检测引擎发展瓶颈•规则数量的膨胀带来存储资源的压力•分支众多，预处理深度加深带来计算处理资源的压力•热数据集庞大，局部性差导致cache失效的性能恶化Page14威胁框架：细粒度对抗威胁框架：细粒度对抗信创背景下高速检测的挑战•飞腾、申威、龙芯、鲲鹏、兆芯等国产CPU与Intel、AMD最新产品性能尚有较大差距•单核性能相当于i3-530Page15威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗I通用vs.专用威胁框架：细粒度对抗将沿着“标准化”与“定制化”交替发展的路线前进，每十年波动一次。Page16威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细粒度对抗芯片的定位•加速芯片不是要颠覆已有的技术结构•引擎加速芯片是20年引擎技术发展的自然延申，以现有的软硬件体系为依托可组合、堆叠，可缩放，性能、成本与应用场景适配Page19威胁框架：细粒度对抗威胁框架：细粒度对抗威胁框架：细