已阅读5页,还剩14页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
中文垃圾邮件过滤系统 的实现和评估,田莹 北京 清华大学 网络中心 Email:,概要,引言 研究背景 中文垃圾邮件过滤系统的实现 中文垃圾邮件过滤系统的评估 最新研究进展及结论,引言,垃圾邮件的定义 垃圾邮件的危害 反垃圾邮件的意义 Email,短信,VoIP电话 垃圾邮件的特性,反垃圾邮件的方法,黑白名单 关键字匹配 贝叶斯 SVM Etc.,基于内容的过滤器的流程图,英文垃圾邮件的贝叶斯过滤流程,收集两个数据库 垃圾邮件数据库 正常邮件数据库 在每一个数据库中,学习并定义出一些关键词,计算这些关键词的概率 新邮件到来时,计算出新到来的邮件中包含的关键词的联合概率 通过联合概率判断新到来的邮件是否是垃圾邮件,中文邮件的预处理,中文分词的概念 分词算法 基于字符串匹配 基于理解 基于统计 中文分词的词典 基于整词二分 基于TRIE索引树 基于逐字二分,实验数据来源,CCERT提供 /spam/index.htm 训练用邮件数 5000 测试用邮件数 500,评估指标,定义L为正常邮件,S为垃圾邮件。SL表示将垃圾邮件判定为正常邮件,同理,LS表示将正常邮件判定为垃圾邮件。 在文本分类问题中,有两个评估指标被经常使用。 Acc称为正确率。Err称为错误率。这里 表示将正常邮件判断为正常邮件的个数。 的含义可以类推。 和 分别表示待判定的正常邮件和垃圾邮件的总个数。,评估指标(续1),考虑到LS和 SL分别会有不同的代价,并设LS的代价是SL的代价的倍,我们定义两个新的评估指标,分别是WAcc(加权的正确率)和WErr(加权的错误率) 在没有过滤的情况下(无论是正常邮件还是垃圾邮件一律通过),我们得到基准WAcc和基准WErr分别为:,评估指标(续2),为了方便比较,定义比率R为 不难看出R越大,过滤的效果越好。R如果小于1,意味着过滤比不过滤效果还差,参数说明,我们的算法中有两个重要的参数 用于训练的样本个数n 在过滤中计算最终概率的特征数目m 实验中,主要研究R和n以及R和m之间的相互关系。,实验结果,图1 R-m关系图,图2 R-m关系图,图3 R-m关系图,图4 R-n关系图,实验结果说明,在过滤中计算最终概率的特征数目m以及用于训练的样本个数n都存在某个最优值 当用于训练的样本个数逐渐超过这个最优值时,过滤效果会略微下降并趋于一致。,最新研究进展,相关会议 MIT spam conference CEAS(电子邮件和反垃圾邮件会议),贝叶斯过滤发展方向,从单一关键词到关键词链 从线性到非线性 从单一用户到综合多用户 从客户端到服务器 利用电子邮件网络 Etc.,系统和产
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 统编三年级下册《口语交际:春游去哪儿玩》课件
- 西藏2024年03月西藏公务员考试(303人)国家公务员考试消息笔试历年(难与易错考点)高频考题后附答案详解
- 2024年04月甘肃省金昌市市直教育系统引进人才笔试历年(难与易错考点)高频考题后附答案详解
- 2024年04月浙江宁波江北区教育局2024学年名优教师和紧缺型教育人才招考聘用24人笔试历年(难与易错考点)高频考题后附答案详解
- 2024年04月江苏南通如皋市部分事业单位招考聘用70人笔试历年(难与易错考点)高频考题后附答案详解
- 2024年04月广东东莞市技师学院招考聘用10人笔试历年(难与易错考点)高频考题后附答案详解
- 2024年04月天津市科学技术信息研究所招考聘用笔试历年(难与易错考点)高频考题后附答案详解
- 2024年04月中共四川天府新区眉山工作委员会党群工作部2024年面向全省公开选调23名事业单位工作人员笔试历年(难与易错考点)高频考题后附答案详解
- 2024年03月福建福州市马尾区住房和城乡建设局招考聘用笔试历年(难与易错考点)高频考题后附答案详解
- 2024年03月甘肃张掖市特殊教育学校引进急需紧缺教师笔试历年(难与易错考点)高频考题后附答案详解
- 新版医院感染监测标本采集的标准操作
- 《中西医结合内科学 全国中医药行业高等教育 十四五 规划教材 》读书笔记思维导图
- 2022-2023学年江苏省南京市、盐城市高三二模语文试卷及答案解析
- 2022年上海民航职业技术学院招聘笔试备考题库及答案解析
- PEP新版小学五年级下册单词表
- 创课:大学生创新创业实践知到章节答案智慧树2023年黑龙江大学
- 《电子商务文案写作与推广》5套试卷期末考试卷AB卷模拟试卷带答案试题
- 走近山水画智慧树知到答案章节测试2023年华侨大学
- 中考语文专项复习之多重定语
- 跨高速公路连续梁施工防护方案
- UPS电源基础知识考试题库
评论
0/150
提交评论