DSPAM 简介和使用

1、DSPAM简介和使用简介和使用Xueron2007-06-16反垃圾概述反垃圾概述l基本MTA控制（防止OpenRelay，SMTP认证，IP并发、频率等）l关键字过滤l黑、白名单（IP、DOMAIN、用户）lDNS测试lIP，HELO，SENDER的一些DNS查询lSPF、DKIMl实时黑名单技术（RBL、URIBL）l贝叶斯过滤l垃圾邮件评分（SA）l指纹识别l行为检测l蜜罐l图片识别lHashCashlReputationlDSPAM简介简介lDspam是一个开源的垃圾邮件过滤软件l作者：Jonathan A. Zdziarski lEnding Spam: Bayesian Conte

2、nt Filtering and the Art of Statistical Language Classification l目前版本：3.8.0 (2007.3)l特点：l高效 0.01s-0.07s/msgl准确 99.5% - 99.95% DSPAM的其他一些特性的其他一些特性l数据库支持lHash DBlSqlite，Sqlite3lMysqllPgsqllOracle(最新的3.8.0已经去掉了)lClamAV集成lWebUIl自动白名单DSPAM的分词技术的分词技术lWord-逐个“词”的切分lChain-链式切分lSbph（ Sparse Binary Polynomial

3、 Hashing）lOsb（Orthogonal Sparse biGram）DSPAM使用的算法使用的算法lNave（朴素bayes算法）lGraham（A Plan for Spam）lBurton（SpamProbe）lRobinson（Robinsons Geometric Mean Test）lChi-square（Fisher-Robinson）DSPAM的训练方法的训练方法lToe train-on-error 遇到错误才学习l优点：数据库写操作少些，学习效率高l缺点：准确性低一些lTeft train-everything 学习所有l优点：简单实时l缺点：数据库增长很快，I/O

4、频繁易出错 lTum train-until-mature 学习到成熟l介于Teft和Toe之间的一个方法lTunetrain-until-no-errors 学习到没有错误l优点：准确率很高l缺点：学习需要的时间很长DSPAM的处理能力的处理能力l最大的部署在35,000用户的系统上l通常处理一封邮件需要0.01s 到 0.07s (最高的 0.20s左右)DSPAM的应用的应用l学习lDspam自带的工具 dspam_trainlDspam程序$ ./dspam_train Usage: ./dspam_train username -i index|spam_dir nonspam_di

5、r$ ./dspam -user user1 -class=spam|innocent -source=error|corpus|inoculation DSPAM Postfix - Delivery |_ (SMTP Reinjection) _|# ServersideServerMode autoServerParameters -deliver=innocentServerIdent localhost.localdomainServerPID /var/run/dspam.pidServerDomainSocketPath /tmp/dspam.sock“# ClientsideD

6、eliveryHost 127.0.0.1DeliveryPort 10026DeliveryIdent localhostDeliveryProto SMTPDSPAM的应用的应用l部署dspam（postfix）lPostfix的设置lRe-inject设置smtp inet n - n - - smtpd -o content_filter=lmtp:unix:/tmp/dspam.socklocalhost:10026 inet n - n - - smtpd -o content_filter= -o receive_override_options=no_unknown_recip

7、ient_checks,no_header_body_checks -o smtpd_helo_restrictions= -o smtpd_client_restrictions= -o smtpd_sender_restrictions= -o smtpd_recipient_restrictions=permit_mynetworks,reject -o mynetworks=127.0.0.0/8 -o smtpd_authorized_xforward_hosts=127.0.0.0/8DSPAM的应用的应用l部署dspam（amavisd-new）lamavisd.conflama

8、visdmy($proc_fh,$pid) = run_command(&.fileno($fh), &1, $dspam, qw(-stdout -deliver=spam,innocent -mode=tum -tokenizer=chained,noise -enable-signature-headers -user), $daemon_user, ); # -mode=teft # qw(-stdout -deliver-spam) # dspam 3.0 # use option -feature instead of -tokenizer with dspam 4.1的脚本支持事务0 0 * * * mysql -user=user -pass=pass db /path/to/purge-4.1.sql DSPAM的数据库的清理的数