DSPAM简介和使用.pptVIP

DSPAM简介和使用 Xueron 2007-06-16 反垃圾概述 l基本MTA控制（防止OpenRelay，SMTP认证，IP并发、频率等） l关键字过滤 l黑、白名单（IP、DOMAIN、用户） lDNS测试 lIP，HELO，SENDER的一些DNS查询 lSPF、DKIM l实时黑名单技术（RBL、URIBL） l贝叶斯过滤 l垃圾邮件评分（SA） l指纹识别 l行为检测 l蜜罐 l图片识别 lHashCash lReputation l DSPAM简介 lDspam是一个开源的垃圾邮件过滤软件 l作者：Jonathan A. Zdziarski lEnding Spam: Bayesian Content Filtering and the Art of Statistical Language Classification l目前版本：3.8.0 (2007.3) l特点： l高效 0.01s-0.07s/msg l准确 99.5% - 99.95% DSPAM的其他一些特性 l数据库支持 lHash DB lSqlite，Sqlite3 lMysql lPgsql lOracle(最新的3.8.0已经去掉了) lClamAV集成 lWebUI l自动白名单 DSPAM的分词技术 lWord-逐个“词”的切分 lChain-链式切分 lSbph（ Sparse Binary Polynomial Hashing） lOsb（Orthogonal Sparse biGram） DSPAM使用的算法 lNave（朴素bayes算法） lGraham（“A Plan for Spam“） lBurton（SpamProbe） lRobinson（Robinsons Geometric Mean Test ） lChi-square（Fisher-Robinson） DSPAM的训练方法 lToe train-on-error 遇到错误才学习 l优点：数据库写操作少些，学习效率高 l缺点：准确性低一些 lTeft train-everything 学习所有 l优点：简单实时 l缺点：数据库增长很快，I/O频繁易出错 lTum train-until-mature 学习到成熟 l介于Teft和Toe之间的一个方法 lTunetrain-until-no-errors 学习到没有错误 l优点：准确率很高 l缺点：学习需要的时间很长 DSPAM的处理能力 l最大的部署在35,000用户的系统上 l通常处理一封邮件需要0.01s 到 0.07s (最高的 0.20s左右) DSPAM的应用 l学习 lDspam自带的工具 dspam_train lDspam程序 $ ./dspam_train Usage: ./dspam_train username -i index|spam_dir nonspam_dir $ ./dspam -user user1 -class=spam|innocent -source=error|corpus|inoculation DSPAM Postfix - Delivery |_ (SMTP Reinjection) _| # Serverside ServerMode auto ServerParameters “-deliver=innocent“ ServerIdent “localhost.localdomain“ ServerPID /var/run/dspam.pid ServerDomainSocketPath “/tmp/dspam.sock“ # Clientside DeliveryHost DeliveryPort 10026 DeliveryIdent localhost DeliveryProto SMTP DSPAM的应用 l部署dspam（postfix） lPostfix的设置 lRe-inject设置 smtp inet n - n - - smtpd -o content_filter=lmtp:unix:/tmp/dspam.sock localhost:10026 inet n - n - - smtpd -o content_filter= -o receive_override_options=no_unknown_recipient_checks,no_header_body_checks -o smtpd_helo_restrictions= -o smtpd_client_restrictions= -o smtpd_sender_restrictions= -o smtpd_recipient_restrictions=permit_mynetworks,reject -o mynetworks=/8 -o smtpd_authorized_xforward_hosts=/8 DSPAM的应用 l部署dspam（amavisd-new） lamavisd.conf lamavisd my($proc_fh,$pid) = run_command( # -mode=teft # qw(-stdout -deliver-spam) # dspam 4.1的脚本支持事务 0 0 * * * mysql -user=user -pass=pass db /path/to/purge-4.1.sql DSPAM的数据库的清理 0 0 * * * /usr/local/bin/dspam_clean options DSPAM的web管理 l统计监测 l参数调节（用户级） l隔离区管理 l图形分析 l系统管理（超级管理员） 参考资料 lhttp:/dspam.nuclearelepha