垃圾邮件过滤之初步研究课件

垃圾郵件過濾之初步研究邱炫盛11/22/2022垃圾郵件過濾之初步研究邱炫盛11/21/20221大綱垃圾郵件過濾簡介規則導向過濾機械學習導向過濾過濾模型介紹貝氏分類器潛藏語意分析隱藏式馬可夫模型實驗結論與未來展望11/22/2022SpeechLab.NTNU大綱垃圾郵件過濾簡介11/21/2022SpeechLab2垃圾郵件過濾簡介：規則導向過濾規則導向過濾：事先定義好關鍵字，如果新郵件有部分符合，則認定為垃圾郵件可能遇到的問題：人工定義費時費力中文斷詞問題關鍵字定義是否明確亦可以自動學習規則：RIPPER演算法11/22/2022SpeechLab.NTNU垃圾郵件過濾簡介：規則導向過濾規則導向過濾：11/21/203垃圾郵件過濾簡介：機械學習導向過濾郵件過濾模型：貝氏分類器（BayesianClassifier)潛藏語意分析(LatentSemanticAnalysis,LSA)隱藏式馬可夫模型(HiddenMarkovModel,HMM)本論文著重於此類型過濾提出隱藏式馬可夫模型，並與其他模型作比較效果11/22/2022SpeechLab.NTNU垃圾郵件過濾簡介：機械學習導向過濾郵件過濾模型：11/21/4貝氏分類器貝氏分類器從貝氏網路簡化而來rooF:anewbinaryvariableconcerningcatmakingnoiseontheroof.CPT:ConditionalProbabilityTable11/22/2022SpeechLab.NTNU貝氏分類器貝氏分類器從貝氏網路簡化而來CPT:Condit5貝氏分類器11/22/2022SpeechLab.NTNU貝氏分類器11/21/2022SpeechLab.NTN6貝氏分類器11/22/2022SpeechLab.NTNU貝氏分類器11/21/2022SpeechLab.NTN7貝氏分類器w2Cw1w3wnw2Cw1w3wn簡單貝式分類器複雜貝式分類器……11/22/2022SpeechLab.NTNU貝氏分類器w2Cw1w3wnw2Cw1w3wn簡單貝式分類器8貝氏分類器求取新郵件d屬於某類別Ck的機率：求與求可分成多變量伯努利事件與多項式事件模型11/22/2022SpeechLab.NTNU貝氏分類器求取新郵件d屬於某類別Ck的機率：11/21/209貝氏分類器：多變量伯努利模型多變量伯努利模型：假設郵件d是由連續|V|次的伯努利試驗所產生郵件d是|V|維的向量，每個維度t，其值Id,t為0或1給定類別Ck產生郵件d的機率：給定類別產生詞wt的機率：I(wt,di)表示某一個詞wt是否出現在郵件郵件di11/22/2022SpeechLab.NTNU貝氏分類器：多變量伯努利模型多變量伯努利模型：11/21/210貝氏分類器：多項式模型多項式模型：假設郵件d由一連串詞w組成，為多項式分布，詞w來自詞典V郵件d是|V|維的向量，每個維度t，其值nd,t為詞出現次數給定類別Ck產生郵件d的機率：給定類別產生詞wt的機率：11/22/2022SpeechLab.NTNU貝氏分類器：多項式模型多項式模型：11/21/2022Spe11貝氏分類器求給定郵件d屬於哪一類Ck的機率較大的類別11/22/2022SpeechLab.NTNU貝氏分類器求給定郵件d屬於哪一類Ck的機率較大的類別11/212潛藏語意分析潛藏語意分析：根據潛藏在文字中的語意來作郵件過濾三步驟：建立特徵矩陣、奇異值分解運算(SVD)與產生語意指標(SemanticAnchor)及文件分類11/22/2022SpeechLab.NTNU潛藏語意分析潛藏語意分析：11/21/2022Speech13潛藏語意分析：第一步建立特徵矩陣M矩陣M，第一行向量為合法郵件向量，第二行是垃圾郵件向量，每一列表示某一個詞wt第t列第k行，其值正規化熵值：使出現相同次數的詞wt有不同的權重11/22/2022SpeechLab.NTNU潛藏語意分析：第一步建立特徵矩陣M11/21/2022Spe14潛藏語意分析：第二步奇異值分解(SVD)產生三個矩陣：U、S、V產生了兩個語意上的映射：合法郵件映射與垃圾郵件映射，表示合法郵件，表示垃圾郵件。11/22/2022SpeechLab.NTNU潛藏語意分析：第二步奇異值分解(SVD)11/21/202215潛藏語意分析：第三步郵件過濾：新郵件d也轉換成向量，與建矩陣方式相同。郵件d投影到潛藏語意空間S測量方式餘弦測量11/22/2022SpeechLab.NTNU潛藏語意分析：第三步郵件過濾：11/21/2022Speec16隱藏式馬可夫模型隱藏式馬可夫模型假設類別中有屬於該類的生成模型以詞為特徵：語言模型訓練三個語言模型合法郵件模型、垃圾郵件模型、通用郵件模型使用SRILMtoolkit三種型態：單連、二連模型11/22/2022SpeechLab.NTNU隱藏式馬可夫模型隱藏式馬可夫模型假設類別中有屬於該類的生成模17隱藏式馬可夫模型型I：型II：型III：11/22/2022SpeechLab.NTNU隱藏式馬可夫模型型I：11/21/2022SpeechLa18實驗實驗語料：表

1Ling-Spam郵件語料資料表類別合法郵件垃圾郵件數量2412481總詞數1,531,209439,040平均長度634.83912.77收錄時期~July17,2000表2中文訓練郵件語料資料表類別合法郵件垃圾郵件數量1188430總詞數157,86174,197平均長度132.88172.55收錄時期~March2005~June2005表3中文測試郵件語料資料表類別合法郵件垃圾郵件數量17183總詞數11,8445,174平均長度69.2662.34收錄時期April2005July200511/22/2022SpeechLab.NTNU實驗實驗語料：表1Ling-Spam郵件語料資料表類別合19實驗特徵選取：透過交互資訊(MutualInformation)選出部份詞當新的特徵交互資訊：多變量伯努利模型：：訓練語料中某類別中包含詞的郵件數除以所有類別郵件總數：某一類別的郵件數除以所有類別的郵件總數：所有類別中包含詞的郵件數除以所有類別的郵件總數。多項式模型：：訓練語料中某類別中詞的詞頻數數除以兩類別總詞數：某一類別的總詞數除以所有類別總詞數：所有類別中詞頻數除以有類別總詞數11/22/2022SpeechLab.NTNU實驗特徵選取：11/21/2022SpeechLab.N20實驗實驗一：特徵數量與正確率的關係正相關11/22/2022SpeechLab.NTNU實驗實驗一：特徵數量與正確率的關係11/21/2022Spe21實驗實驗二：潛藏語意分析維度與正確率的關係表

4 LSA維度與正確率實驗結果(使用Ling-Spam語料)合法郵件正確率(%)垃圾郵件正確率(%)整體正確率(%)d=2604,r=2585.4966.3482.31d=2604,r=10085.6668.4282.79d=2604,r=25085.7468.4282.86d=2604,r=50085.7868.4282.89d=2,r=294.3691.0793.81d表示訓練郵件總數，r表示SVD的維度11/22/2022SpeechLab.NTNU實驗實驗二：潛藏語意分析維度與正確率的關係表4 LSA維度22實驗實驗三：隱藏式馬可夫模型三種型式與正確率的關係表

5 隱藏式馬可夫模型各類型比較(使用Ling-Spam語料)合法郵件正確率(%)垃圾郵件正確率(%)整體正確率(%)型I99.4296.6898.96型II99.9697.3099.52型III99.9698.3499.6911/22/2022SpeechLab.NTNU實驗實驗三：隱藏式馬可夫模型三種型式與正確率的關係表5 隱23實驗實驗結果：表

6各種模型正確率(使用Ling-Spam語料)合法郵件正確率(%)垃圾郵件正確率(%)整體正確率(%)MVB99.5064.6793.71MN99.4297.7399.14LSA94.3691.0793.81HMM99.9698.3499.6911/22/2022SpeechLab.NTNU實驗實驗結果：表6各種模型正確率(使用Ling-Spam24實驗實驗結果：表7各種模型正確率(使用中文語料)合法郵件正確率(%)垃圾郵件正確率(%)整體正確率(%)MVB99.4249.4086.12MN98.2560.0288.15LSA99.4267.4790.93HMM98.2574.7091.9911/22/2022SpeechLab.NTNU實驗實驗結果：表7各種模型正確率(使用中文語料)合法郵件正25結論與未來展望找強建性特徵的方法建立模型的方法PLSATMMME語音辨識與文件分類技術結合應用11/22/2022SpeechLab.NTNU結論與未來展望找強建性特徵的方法11/21/2022Spee26垃圾郵件過濾之初步研究邱炫盛11/22/2022垃圾郵件過濾之初步研究邱炫盛11/21/202227大綱垃圾郵件過濾簡介規則導向過濾機械學習導向過濾過濾模型介紹貝氏分類器潛藏語意分析隱藏式馬可夫模型實驗結論與未來展望11/22/2022SpeechLab.NTNU大綱垃圾郵件過濾簡介11/21/2022SpeechLab28垃圾郵件過濾簡介：規則導向過濾規則導向過濾：事先定義好關鍵字，如果新郵件有部分符合，則認定為垃圾郵件可能遇到的問題：人工定義費時費力中文斷詞問題關鍵字定義是否明確亦可以自動學習規則：RIPPER演算法11/22/2022SpeechLab.NTNU垃圾郵件過濾簡介：規則導向過濾規則導向過濾：11/21/2029垃圾郵件過濾簡介：機械學習導向過濾郵件過濾模型：貝氏分類器（BayesianClassifier)潛藏語意分析(LatentSemanticAnalysis,LSA)隱藏式馬可夫模型(HiddenMarkovModel,HMM)本論文著重於此類型過濾提出隱藏式馬可夫模型，並與其他模型作比較效果11/22/2022SpeechLab.NTNU垃圾郵件過濾簡介：機械學習導向過濾郵件過濾模型：11/21/30貝氏分類器貝氏分類器從貝氏網路簡化而來rooF:anewbinaryvariableconcerningcatmakingnoiseontheroof.CPT:ConditionalProbabilityTable11/22/2022SpeechLab.NTNU貝氏分類器貝氏分類器從貝氏網路簡化而來CPT:Condit31貝氏分類器11/22/2022SpeechLab.NTNU貝氏分類器11/21/2022SpeechLab.NTN32貝氏分類器11/22/2022SpeechLab.NTNU貝氏分類器11/21/2022SpeechLab.NTN33貝氏分類器w2Cw1w3wnw2Cw1w3wn簡單貝式分類器複雜貝式分類器……11/22/2022SpeechLab.NTNU貝氏分類器w2Cw1w3wnw2Cw1w3wn簡單貝式分類器34貝氏分類器求取新郵件d屬於某類別Ck的機率：求與求可分成多變量伯努利事件與多項式事件模型11/22/2022SpeechLab.NTNU貝氏分類器求取新郵件d屬於某類別Ck的機率：11/21/2035貝氏分類器：多變量伯努利模型多變量伯努利模型：假設郵件d是由連續|V|次的伯努利試驗所產生郵件d是|V|維的向量，每個維度t，其值Id,t為0或1給定類別Ck產生郵件d的機率：給定類別產生詞wt的機率：I(wt,di)表示某一個詞wt是否出現在郵件郵件di11/22/2022SpeechLab.NTNU貝氏分類器：多變量伯努利模型多變量伯努利模型：11/21/236貝氏分類器：多項式模型多項式模型：假設郵件d由一連串詞w組成，為多項式分布，詞w來自詞典V郵件d是|V|維的向量，每個維度t，其值nd,t為詞出現次數給定類別Ck產生郵件d的機率：給定類別產生詞wt的機率：11/22/2022SpeechLab.NTNU貝氏分類器：多項式模型多項式模型：11/21/2022Spe37貝氏分類器求給定郵件d屬於哪一類Ck的機率較大的類別11/22/2022SpeechLab.NTNU貝氏分類器求給定郵件d屬於哪一類Ck的機率較大的類別11/238潛藏語意分析潛藏語意分析：根據潛藏在文字中的語意來作郵件過濾三步驟：建立特徵矩陣、奇異值分解運算(SVD)與產生語意指標(SemanticAnchor)及文件分類11/22/2022SpeechLab.NTNU潛藏語意分析潛藏語意分析：11/21/2022Speech39潛藏語意分析：第一步建立特徵矩陣M矩陣M，第一行向量為合法郵件向量，第二行是垃圾郵件向量，每一列表示某一個詞wt第t列第k行，其值正規化熵值：使出現相同次數的詞wt有不同的權重11/22/2022SpeechLab.NTNU潛藏語意分析：第一步建立特徵矩陣M11/21/2022Spe40潛藏語意分析：第二步奇異值分解(SVD)產生三個矩陣：U、S、V產生了兩個語意上的映射：合法郵件映射與垃圾郵件映射，表示合法郵件，表示垃圾郵件。11/22/2022SpeechLab.NTNU潛藏語意分析：第二步奇異值分解(SVD)11/21/202241潛藏語意分析：第三步郵件過濾：新郵件d也轉換成向量，與建矩陣方式相同。郵件d投影到潛藏語意空間S測量方式餘弦測量11/22/2022SpeechLab.NTNU潛藏語意分析：第三步郵件過濾：11/21/2022Speec42隱藏式馬可夫模型隱藏式馬可夫模型假設類別中有屬於該類的生成模型以詞為特徵：語言模型訓練三個語言模型合法郵件模型、垃圾郵件模型、通用郵件模型使用SRILMtoolkit三種型態：單連、二連模型11/22/2022SpeechLab.NTNU隱藏式馬可夫模型隱藏式馬可夫模型假設類別中有屬於該類的生成模43隱藏式馬可夫模型型I：型II：型III：11/22/2022SpeechLab.NTNU隱藏式馬可夫模型型I：11/21/2022SpeechLa44實驗實驗語料：表

1Ling-Spam郵件語料資料表類別合法郵件垃圾郵件數量2412481總詞數1,531,209439,040平均長度634.83912.77收錄時期~July17,2000表2中文訓練郵件語料資料表類別合法郵件垃圾郵件數量1188430總詞數157,86174,197平均長度132.88172.55收錄時期~March2005~June2005表3中文測試郵件語料資料表類別合法郵件垃圾郵件數量17183總詞數11,8445,174平均長度69.2662.34收錄時期April2005July200511/22/2022SpeechLab.NTNU實驗實驗語料：表1Ling-Spam郵件語料資料表類別合45實驗特徵選取：透過交互資訊(MutualInformation)選出部份詞當新的特徵交互資訊：多變量伯努利模型：：訓練語料中某類別中包含詞的郵件數除以所有類別郵件總數：某一類別的郵件數除以所有類別的郵件總數：所有類別中包含詞的郵件數除以所有類別的郵件總數。多項式模型：：訓練語料中某類別中詞的詞頻數數除以兩類別總詞數：某一類別的總詞數除以所有類別總詞數：所有類別中詞頻數除以有類別總詞數11/22/2022SpeechLab.NTNU實驗特徵選取：11/21/2022SpeechLab.N46實驗實驗一：特徵數量與正確率的關係正相關11/22/2022SpeechLab.NTNU實驗實驗一：特徵數量與正確率的關係11/21/2022Spe47實驗實驗二：潛藏語意分析維度與正確率的關係表

4 LSA維度與正確率實驗結果(使用Ling-Spam語料)合法郵件正確率(%)垃圾郵件正確率(%)整體正確率(%)d=2604,r=2585.4966.3482.31d=2604,r=10085.6668.4282.79d=2604,r=25085.7468.4282.86d=2604,r=50085.7868.4282.89d=2,r=294.3691.079