基于策略的反垃圾邮件技术－－APF

1、基于策略的反垃圾邮件技术APF广州市大邮信息科技何智强2004-10-18 hzqbbc前言垃圾邮件泛滥成灾！2003年及2004年垃圾邮件异常猖狂垃圾邮件层出不穷形如用特殊字符分隔单词将文字保存在图片里html格式等反垃圾邮件软件依然不足人工智能算法/DNA算法实现依然复杂目前识别技术无法与人脑相比基于内容过滤的算法（如Bayes）对中文的处理能力依然薄弱。垃圾邮件大量充斥着邮件队列！通信中断！损失大量合作机会！耗费大量网络资源，年损失几百亿美元！我们需要便宜、有效的手段遏止Spam!NO SPAM！什么技术可以胜任？成本低部署易效能好APF can!APF原理APF 定义APF=Antis

2、pam Policy Framework是一种利用综合策略分析SMTP信息，主要用于对付垃圾邮件的一套框架。APS=APF Service/System主要以Client/Server模式对外提供APF完整支持的服务体系，模式类似于RBL/DNS。为什么设计APF?RBL命中率不足，误判，即时性不够SPF依然是Draft，国内推广困难现有技术/框架使用部署成本很高内容过滤技术仍不足，有待改进分析发现SMTP阶段就可识别UCERBL的不足RBL属于被动还击类技术99%的RBL都是国外组织维护中国IP被封杀严重准确率不够，易误杀面临IPV6问题SPF的不足SPF依然是草案(Draft)用户对SPF

3、认知极其有限SPF涉及DNS修改，部署起来工程浩大国内绝大部分域名一定时期内都无法实施SPF域名注册/管理商不提供SPF支持反垃圾邮件部署成本高企业自力开发/实施技术人员AntiSpam经验丰富综合利用多种技术管控整个团队，耗时耗力购买软/硬件部署专用商业软/硬件非常昂贵!使用复杂且定制困难内容过滤技术仍需改进Bayes算法基于规则匹配加权类DNA遗传算法分析发现SMTP阶段就可识别UCE垃圾邮件样本分析结果：基于SMTP特征的准确率较内容过滤（使用Spam Assassin及自定义的规则）要高。特征例子伪造来信人(Sender)来自Open-relay主机正文变化多端，但都来自同一个ip地址

4、某个时段发送大量邮件信头缺失或不符合RFC统计分析结果(3-10月)UCE的SMTP特征缺乏必需信头的信件(Header-lacking)不符合RFC中关于电子邮件规定的信件（RFC-ignorant）错误的信件标记信息（Header-forgery）同样内容发送频率（Abnormal-rate）过高的信件。 APF设计宗旨APF在设计过程中遵循了如下原则:集中/半集中式C/S数据交换结构难度适中的实现技术+良好的构思使用20%的精力去对付80%的Spam尽量使用现成的优秀自由软件方案/技术降低使用难度，提供尽可能高的灵活性APF基本原理(1)三大部分构成MTAAPF客户端APF服务端(浅兰色

5、标记）典型的Client/ Server结构主要运算/处理负载交给APF服务端客户端非常简单APF 基本原理(2)V1.0 APF服务端软件流水线串行工作任一异常即跳出缺点：只获得某个模块的判决结果不能综合判断APF 基本原理(2)V2.0 APF服务端改进模块处理相互独立处理结果最后汇总相互结果不影响优点可进行加权用户高度定制结果便于综合分析APF 基本原理(3)V1.0协议标签名描述(绿色为目前支持)request目前只支持一个值：smtpd_access_policyprotocol_state可能的值：CONNECT, EHLO, HELO, MAIL, RCPT, DATA, VRF

6、Y ,ETRNprotocol_name可能的值：ESMTP 或 SMTPhelo_nameSMTP 客户端的主机名senderMAIL FROM阶段的来信人地址recipientRCPT TO阶段的收件人地址client_addressSMTP客户端的ip地址client_nameSMTP客户端ip地址反解（PTR）APF 基本原理(3)V2.0 协议增补了一些新的属性名及策略调整标签名描述Result_type有效值：USR DFT ADV OLDAuth_userSMTP 认证的用户名Auth_methodSMTP认证的方法（plain, cram-md5等）Auth_senderSMT

7、P认证后的sendersize邮件大小其他变化未来考虑增加诸如信件MD5，更细化的特征传递等module1=fail/ok, reason stringmoduleN=fail/ok, reason string( v2.0结果格式 )APF 基本原理(4)判决结果V1.0V2.0action=4xx/5xx reason text link statusbadhelo=DUNNOwhitelist=OKdnsbl=fail, blocked by bl.domain.tld, reason: ip4 addr string.mspf=fail, domain.tld was not desi

8、gnate ip4 addr .fakehelo=fail, reason: fqdn may be forgery for ip4 addr应用APF的典型例子S: log show: client connected C: Helo S: 220 ESMTP (No Spam) C: mail from:S: 250 OkC: rcpt to:S: 554 Forgery sender address! sender mx does not match your ip address504 Helo command rejected: helo name does not match yo

9、ur ip addressclient_addresshelo_namesenderrecipient( APF v1.0 )APF的优势综合成本低结构简单部署简便能灵活定制功能强大APF主要策略模块介绍Hostnamednsbl+RatestatMSBL/SPF+afsFakehelootherAPF策略模块：hostname功能：校验HELO及信头相关主机名是否合法非法主机名例子rsproxy.myhost.local*abc$?-/!-最新娱乐情报.请进入SzAvadsuzqpzs%$i95qaw/khs&*I()APF策略模块：dnsbl+描述：集成了RBL/RBLs及域名黑名单等功能

10、：实现了对多个不同类型的rbl/rhsbl的综合查询。目前支持的RBL站点：anti- (CASA)APF策略模块：ratestat描述：连接/发送频率监视及统计功能：对SMTP会话过程中客户的RCPT或连接频率进行统计及限制，自动封锁超标IP并能自动解封实现细节：内存中使用hash表来保存统计信息对每台APS客户机都保留一个单独的hash表多进程之间共享数据APF策略模块：MSBL/SPF+描述：该模块提供了对SPF的前后向兼容支持，用于识别邮件是否经过授权发送特点：支持标准SPF记录及MSPF记录，并优先采纳标准SPF记录。可以完美地从MSPF过渡到SPFMSPFSPFMSPF介绍定义：M

11、SPF是一个经过小量修改的SPF实现，MSBL则是对应的查询列表服务，保存了已知没有支持SPF但已知授权以其域名发送邮件的主机地址的域名信息。优点：便于向SPF过渡，降低了使用SPF的门槛，对域名管理员要求低，能对SPF实现前后向兼容，成本低。MSPF原理关键点：变分布数据为集中数据domain.tldv=spf1 a mx ip4:/24 -allTXTdomain.tld . SPFMSPF如何实现前后向兼容SPF?本质在SPF未普及前使用MSPF同时推广SPF，并保证优先采信域名的SPF记录结论：如果某个域名增加了SPF记录，那么MSBL记录里的SPF记录将自动作废MSBL介绍定义：MS

12、BL是一个支持MSPF并可供查询记录在案的域名SPF记录列表特点：除了支持MSPF外，还集成了域名黑名单列表及IP地址黑名单列表（RHSBL+RBL），一个列表多种用途。RBLRHSBLSPFThree in ONE!使用MSBL使用方法只使用RBL/RHSBL部分：与使用其他RBL/RHSBL无异常：（以postfix为例子）只使用SPF记录部分：使用APF插件或精简之用户自行开发补丁smtpd_sender_restrictions = reject_non_fqdn_sender reject_rhsbl_sender reject_unknow_senderAPF策略模块：AFS描述：

13、AFS（Anti Forgery Sender）用于识别伪造来信人的邮件，作为MSPF的补充。功能：通过综合各种有关信息（DNS，IP地址，HELO信息，whois信息及PTR，AFS 数据库等）判决，对没有MSPF也没有SPF支持的域名有效 A/MX 9Cleint_address: 09Sender: asd28zkis 09 Bell Canada9 CHINA CNCAPF策略模块：fakehelo描述：针对部分垃圾邮件发送服务器发送假冒的HELO主机名而设计功能：屏蔽一些伪造的HELO 主机名行为，例如：Q：与国内某些大ISP过去的做法有些什么不同？A：使用不同的算法，判决条件及根据

14、不同，fakehelo同样也使用类似AFS的手段及猜测技术，误伤率更低helo_name=client_address=A 9APF其他策略模块更深入地分析邮件特征更智能的判决及自我学习、积累使用加权的方法更友好的处理误伤APF实现软件APF与配套资源官方网站http:/技术文档http:/docs/支持软件/插件http:/addon/MSPF登陆/msbl/支持论坛/forum/APF插件/补丁目前提供的支持APF的插件/补丁有：apf-sendmail (milter)apf-qmail (patch)apf-postfix (policy)除了apf-qmail是补丁外其他都是addo

15、n形式APF addon/patch 结构MTA适配层Customize层APF CONNAPF PROCqmai / postfixsendmailAPFServer自定义层可以增加诸如：ip/域名及email地址的黑/白名单，对邮件的高级ACL等功能TCP/UDP连接APF-qmail关键思路：“功能外移，结果回送”补丁优点：实现功能外移绝大多数功能不需改动qmail便于大量定制badfromRBL/RHSBLnullenvsender mfcheckRelay-rejectbadfrom-wildcardAPF-qmailAPF-sendmail原理：使用Milter技术，调用Sendm

16、ail:Milter特点：多线程，高度可定制，纯perl编写Milter APIAPF 客户端APF服务端APF-postfix原理：使用postfix内置的check_policy_service，通过插入一层中间处理代码，可方便的实现定制特点：可以实现连接复用(Multiplex)，高度可定制，纯perl语言编写APF插件/补丁的优点避免了为实现功能往MTA里塞大段代码可以非常容易实现高级ACL高度可定制，远非patch/addon可比便于与其他组件结合（例如SA）以qmail为例子：APF-qmail可替代10多种qmail补丁对qmail修改非常少从不同版本/功能的补丁困境中解放出来！

17、APF的扩展：高级ACL需求1：某公司需要限制某些用户外发邮件需求2：某些公司员工不能发送/接收外部邮件需求3：限制部分人每日发送邮件不超100封APF的扩展：高级ACL实现框架APF CONN自定义ACLAPF PROC内插自定义ACL实现需求1/2/3更可实现根据时间、来信人、用户名、ip地址等元素进行综合限制的高级ACLMTA适配层APF高级话题提升APF/APS单机性能背景由于APF是集中结构的C/S应用，当大量用户使用时，就需要考虑单机的性能问题。解决APF/APS设计初就已考虑这些问题，通过如下方法可以很好的解决大量的使用Memory cache使用local DNS cache客

18、户端本地Cache技术使用UDP协议降低网络开销MSBL使用专用高效dns服务器扩充APF的服务能力实现方法：DNS轮询分布式APSIP层负载均衡客户端Cache基于DNS轮询A 210.21.117.xxA 61.144.34.xx A 219.137.238.xxA 61.145.114.xx优点：实现成本低，效果不错，不需额外支持缺点：如用户设置固定访问ip则造成负载不均衡req 1req 2req 3req 4分布式APSWest ChinaSouth ChinaSouth east ChinaEast ChinaNorth China只允许北部IP访问，其他IP则返回拒绝或提示信息基

19、于IP归属地的大区式访问IP层负载均衡的APSWest ChinaSouth ChinaSouth east ChinaEast ChinaNorth China交换中心DX1交换中心DX3交换中心DX2APF客户端CacheAPFClient请求1请求2请求3本地cache远端APF server客户端Cache：将第一次出现的请求送给APF server，等待结果并保存到本地cache里，下一次出现同样请求时，如果cache依然alive，则直接从本地cache里提取判决结果，这样大幅度提升了客户端的处理速度。关于APF的疑问性能问题Q：APS性能到底怎样？A：目前APS资源占用非常低，绝

20、大多数操作都是非常轻量级的，因此负载很低。测试数据：100个并发(tcp) 负载2.9 1.8 1.0这相当于同时服务几十个日信件量在20-50万之间的Email服务器。而如果使用UDP协议负载会更低。Q：APS响应速度怎么样？A：一般APF客户端与APF Server端交换的数据平均只有200-300字节，因此扣除网络延迟及DNS操作的耗时，反应速度平均都在100ms以下，还是比较快的。APS运营成本问题Q：APS是否免费使用？A：目前APS中的MSBL/APS-udp/APS-tcp/APS-http版本都是免费的Q：APS运营由谁负责？A：主要由广州市大邮信息科技有限公司负责，欢迎合作建

21、立更多的APS服务器！APS可靠性Q：APS如果出问题怎办？A：目前我们使用了多种手段保证了APS可以提供不间断服务：多台APS主机，分布在不同物理地点及物理线路上，做到多路冗余客户端程序在连接APS失败时都返回DUNNO，保证MTA正常接收邮件。使用DNS轮询也保证了客户端能访问到正常的APS主机APF应对公安部4号令如何用APF应对公安部4号令？实质：要求ISP、email服务供应商、企业及个人都努力遏止垃圾邮件泛滥，并利用技术手段尽最大可能减少垃圾邮件的侵扰。HOW TO?如何实现4号令的要求？利用APF能以较低成本满足公安部4号令的要求！公安部4号令对邮件系统的要求（一）具备对发送垃圾

22、电子邮件的特定网络地址、电子邮箱进行屏蔽的功能；（二）具备限制来自相同客户端网络地址的并发连接数量超过最大限制值的功能；（三）具备限制来自相同客户端网络地址的连接频率超过最大限制值的功能；（四）具备限制本地电子邮件用户一次性发送同一电子邮件发送数量的功能；（五）具备判别电子邮件虚假路由，对伪造虚假路由的电子邮件限制发送的功能；（六）具备关闭电子邮件服务器匿名转发或采取用户身份认证、电子邮件转发授权控制措施的功能；（七）具备对大量群发、连发同样特征的已知垃圾电子邮件进行拦截的功能，其中特征指电子邮件长度、信头字段、信体符合特定条件。APF应对4号令哪些功能APF能实现？除了第七条内容过滤外，都可以实现！如何实现？QmailPostfixSendmailAPF+APS+屏蔽IP/dns及email地址方法1：qmail:使用badfrom+tcpserver及一些补丁pos