这样的词语按照1到100来打分1968年MiltonHakel重复了这个课件

不確定性簡介

基本機率論

貝氏推理

基於規則的專家系統的不確定管理

不確定性簡介基於規則的專家系統的不確定管理n資訊可能是不確定的、不一致的、不完整的，或上述三種情況都有。換句話說，這種資訊經常並不適於用來解決一個問題n不確定性可被定義為：缺乏使我們可以得到完美可信結論的確切知識。典型的邏輯僅允許確切的推理。它假設始終存在完善的知識，始終應用排中律：

IF Aistrue IF AisfalseTHENAisnotfalse THENAisnottrue不確定性簡介n資訊可能是不確定的、不一致的、不完整的，或上述三種情況都有脆弱的’表示’(imply)。領域專家和知識工程師承擔著棘手且幾乎沒有希望完成的任務，即要在規則的IF(條件)和THEN(動作)部分建立具體的關係。因此，專家系統需要有處理模糊關聯的能力，例如，用數值型的確定因數來描述關係的程度。不確定知識的來源

脆弱的’表示’(imply)。領域專家和知識工程師承擔著棘手不精確的語言。我們的自然語言是天生模糊和不精確的。我們描述事實時常用“often”、“sometimes”、“frequently”、“hardlyever”這樣的詞語。因此，要用產生式規則中精確的IF-THEN形式來表達知識就是非常困難的。但是，如果這些事實的含義可以被量化，其就可以被用於專家系統。1944年，RaySimpson詢問了355個高中和大學的學生，讓他們把20個諸如“often”這樣的詞語按照1到100來打分。1968年，MiltonHakel重複了這個實驗不精確的語言。我們的自然語言是天生模糊和不精確的。我們描述事時間頻率範圍上不明確和不精確的術語的量化

RaySimpson(1944)MiltonHakel(1968)術語均值術語均值AlwaysVeryoftenUsuallyOftenGenerallyFrequentlyRatheroftenAboutasoftenasnotNowandthenSometimesOccasionallyOnceinawhileNotoftenUsuallynotSeldomHardlyeverVeryseldomRarelyAlmostneverNever99888578787365502020201513101076530AlwaysVeryoftenUsuallyOftenRatheroftenFrequentlyGenerallyAboutasoftenasnotNowandthenSometimesOccasionallyOnceinawhileNotoftenUsuallynotSeldomHardlyeverVeryseldomRarelyAlmostneverNever10087797474727250342928221616987520時間頻率範圍上不明確和不精確的術語的量化RaySimps不知道的資料。當資料不完整或缺失時，唯一的解決方法就是接受“不知道”的資料，並用這個資料進行近似的推理。

綜合不同專家的觀點。大多數專家系統經常會綜合大量專家的知識和經驗。不幸地，專家的觀點經常對立並產生有衝突的規則。為了解決這種衝突，知識工程師不得不為每個專家設定一個權重，然後計算綜合的結論。但是，權重的設定也沒有系統的方法。不知道的資料。當資料不完整或缺失時，唯一的解決方法就是接受“機率的概念已經有很長的歷史，可以追溯到數千年前，當時，人們的口語中就出現了諸如“probably”、“likely”、“maybe”、“perhaps”和“possibly”這樣的辭彙。但是，機率的數學理論是在17世紀才形成的。事件的機率是該事件發生的比例。機率也可以定義為可能性的科學測量。基本機率論

機率的概念已經有很長的歷史，可以追溯到數千年前，當時，人們的機率可以表示成從0絕對(不可能發生)到1(必然發生)之間內的數值索引。大部分事件的機率索引嚴格限定在0～1之間，這意味著每個事件至少有兩個可能的輸出：有利的結果或成功、不利的結果或失敗。p(成功)

p(失敗)

機率可以表示成從0絕對(不可能發生)到1(必然發生)之間內的如果s是成功出現的次數，f是失敗出現的次數，那麼如果我們拋硬幣，出現正面的機率和出現背面的機率是一樣的。在某次拋硬幣時，s=f=1，因此得到正面(或背面)的機率是0.5。p(成功)

p(失敗)並且p+q=1如果s是成功出現的次數，f是失敗出現的次數，那麼如果我令A和B是真實世界中的二事件，假設A和B並不相互排斥，在一個事件已經發生的情況下另一個事件也可能在一定條件下發生。在事件B已經發生的前提下事件A發生的機率稱作條件機率。條件機率的數學運算式是p(A|B)，其中豎線表示已發生，完整的運算式可以解釋為“事件B已經發生的前提下事件A發生的機率”。條件機率

令A和B是真實世界中的二事件，假設A和B並不相互排斥，在一個A和B同時發生的次數，或者A和B同時發生的機率，稱為A和B的聯合機率。聯合機率數學運算式為p(A∩B)。若B可能發生的機率為p(B)，則：同樣，在事件A已經發生的前提下事件B發生的條件機率為

A和B同時發生的次數，或者A和B同時發生的機率，稱為A和B的因此,或將上式帶入下式得出貝氏規則

:因此,或將上式帶入下式得出貝氏規則:其中:p(A|B)是事件B已經發生的前提下事件A發生的條件機率。

p(B|A)是事件A已經發生的前提下事件B發生的條件機率。

p(A)是事件A發生的機率。p(B)是事件B發生的機率。貝氏規則

其中:聯合機率

聯合機率如果事件A的發生僅取決於兩個相互排斥的事件，即B和非B，

可得:其中

Ø

是邏輯函數非。同理,將此式帶入貝氏規則可得:如果事件A的發生僅取決於兩個相互排斥的事件，即B和非B，可假設知識庫中的所有規則以下面的形式表達：

規則表示，如果事件E發生，則事件H發生的機率為p。在專家系統中，通常用H代表假設，E表示支持該假設的證據。

貝氏推理

IF EistrueTHEN Histrue{withprobabilityp}假設知識庫中的所有規則以下面的形式表達：貝氏推理IF 貝氏規則可以用假設和證據來表達，如下所示

:其中：p(H)是假設H為真的事前機率。p(E|H)是假設H為真時導致證據E的機率。p(ØH)是假設H為假的事前機率。p(E|ØH)是假設H為假時發現證據E的機率。

貝氏規則可以用假設和證據來表達，如下所示:其中：在專家系統中，解決問題需要的機率由專家提供。專家決定可能的假設的事前機率p(H)和p(ØH)

，如果假設H為真時證據E的條件機率p(E|H)，以及假設H為假時證據E的條件機率p(E|ØH)

。使用者提供證據的資訊，同時專家系統根據使用者提供的證據E計算假設H的p(H|E)

。機率p(H|E)稱作假設H基於證據E的事後機率。在專家系統中，解決問題需要的機率由專家提供。專家決定可能的假吾人考慮多重假設H1，H2，…，Hm和多重證據E1，E2，…，En，但假設和證據都必須是相互排斥且完備的。

下面是單個證據E和多重假設H1，H2，…，Hm：

下面是多重假設H1，H2，…，Hm和多重證據E1，E2，…，En：吾人考慮多重假設H1，H2，…，Hm和多重證據E1，E2，…要使用公式(3-20)，必須先得到對於所有假設，證據的所有可能組合的條件機率。這個要求對於專家而言負擔太重。

因此在專家系統中，應忽略細微的證據，並假設不同的證據是有條件獨立的。這樣，可得到下式，以代替不易使用的公式(3-20)：要使用公式(3-20)，必須先得到對於所有假設，證據的所有可考慮一個簡單的例子

假設一個專家，給出三個有條件獨立的證據E1、E2和E3，產生了三個相互排斥的完備假設H1、H2和H3，並分別提供了假設的事前機率–

p(H1)、p(H2)和p(H3)。專家還要確定對於所有可能假設，每個證據的條件機率。排序潛在的真假設考慮一個簡單的例子排序潛在的真假設事前和條件機率假設首先觀察證據E3。專家系統根據公式(3-19)計算所有假設的事後機率：概率假設i=1i=2i=3p(Hi)0.400.350.25p(E1|Hi)0.30.80.5p(E2|Hi)0.90.00.7p(E3|Hi)0.60.70.9事前和條件機率假設首先觀察證據E3。專家系統根據公式(3-1在觀察了證據E3後，假設H1的可信度下降，並和假設H2的可信度相等。假設H3的可信度增加，幾乎和H1、H2的可信度相等。即

,在觀察了證據E3後，假設H1的可信度下降，並和假設H2的可信假設接下來觀察證據E1，由公式(3-21)計算事後機率：

因此,現在認為假設H2是最有可能的一個。

假設接下來觀察證據E1，由公式(3-21)計算事後機率：因同樣觀察證據E2，專家系統計算所有假設最終的事後機率：雖然專家最初提供假設的順序是H1、H2和H3，但在觀察了所有的證據(E1、E2和E3)後，考慮僅保留假設H1和H3，可以放棄假設H2。同樣觀察證據E2，專家系統計算所有假設最終的事後機率：雖然專Question貝式定理等號的左側比右側的式子還簡單,何時會使用貝式定理?Question貝式定理等號的左側比右側的式子還簡單,何時BayesianClassificationBayesianclassifiersarestatisticalclassifiers.Theycanpredictclassmembershipprobabilities,suchastheprobabilitythatagivensamplebelongstoaparticularclass.NaïveBayesianclassifiersassumethattheeffectofanattributevalueonagivenclassisindependentofvaluesoftheotherattributes.(classconditionalindependence)BayesTheoremP(H|X)=P(X|H)P(H)/P(X)BayesianClassificationBayesiaNaïveBayesianClassificationEachdatasampleisrepresentedasX=(x1,x2,…,xn)Supposethattherearemclasses,C1,C2,…Cm.Givenanunknowndatasample,X,theclassifierwillpredictthatXbelongstotheclasshavingthehighestposteriorprobability.XassignedtoCi

ifandonlyifP(Ci|X)>P(Cj|X)for1≤j≤m,ji.P(Ci|X)=P(X|Ci)P(Ci)/P(X)P(X)isconstantforallclassesP(Ci)=si/sAssumeclassconditionalindependenceNaïveBayesianClassificationEExampleRIDAgeIncomeStudentCredit_ratingClass:buys_computer1<=30HighNoFairNo2<=30HighNoExcellentNo331..40HighNoFairYes4>40MediumNoFairYes5>40LowYesFairYes6>40LowYesExcellentNo731..40LowYesExcellentYes8<=30MediumNoFairNo9<=30LowYesFairYes10>40MediumYesFairYes11<=30MediumYesExcellentYes1231..40MediumNoExcellentYes1331..40HighYesFairYes14>40MediumNoExcellentNoExampleRIDAgeIncomeStudentCredNaïveBayesianClassification(cont.)X=(age=“<=30”,income=“medium”,student=“yes”,credit_rating=“fair”)MaximizeP(X|Ci)P(Ci)fori=1,2.P(buys_computer=“yes”)=9/14=0.643P(buys_computer=“no”)=5/14=0.357P(age=“<30”|buy_computer=“yes”)=2/9=0.222P(age=“<30”|buy_computer=“no”)=3/5=0.6P(income=“medium”|buys_computer=“yes”)=4/9=0.444P(income=“medium”|buys_computer=“no”)=2/5=0.4P(student=“yes”|buys_computer=“yes”)=6/9=0.667P(student=“yes”|buys_computer=“no”)=1/5=0.2P(credit_rating=“fair”|buys_computer=“yes”)=6/9=0.667P(credit_rating=“fair”|buys_computer=“no”)=2/5=0.4P(X|buys_computer=“yes”)=0.222*0.444*0.667*0.667=0.044P(X|buys_computer=“no”)=0.6*0.4*0.2*0.4=0.019P(X|buys_computer=“yes”)P(buys_computer=“yes”)=0.044*0.643=0.028P(X|buys_computer=“no”)P(buys_computer=“no”)=0.019*0.357=0.007NaïveBayesianClassification(不確定性簡介

基本機率論

貝氏推理

基於規則的專家系統的不確定管理

不確定性簡介基於規則的專家系統的不確定管理n資訊可能是不確定的、不一致的、不完整的，或上述三種情況都有。換句話說，這種資訊經常並不適於用來解決一個問題n不確定性可被定義為：缺乏使我們可以得到完美可信結論的確切知識。典型的邏輯僅允許確切的推理。它假設始終存在完善的知識，始終應用排中律：

IF Aistrue IF AisfalseTHENAisnotfalse THENAisnottrue不確定性簡介n資訊可能是不確定的、不一致的、不完整的，或上述三種情況都有脆弱的’表示’(imply)。領域專家和知識工程師承擔著棘手且幾乎沒有希望完成的任務，即要在規則的IF(條件)和THEN(動作)部分建立具體的關係。因此，專家系統需要有處理模糊關聯的能力，例如，用數值型的確定因數來描述關係的程度。不確定知識的來源

脆弱的’表示’(imply)。領域專家和知識工程師承擔著棘手不精確的語言。我們的自然語言是天生模糊和不精確的。我們描述事實時常用“often”、“sometimes”、“frequently”、“hardlyever”這樣的詞語。因此，要用產生式規則中精確的IF-THEN形式來表達知識就是非常困難的。但是，如果這些事實的含義可以被量化，其就可以被用於專家系統。1944年，RaySimpson詢問了355個高中和大學的學生，讓他們把20個諸如“often”這樣的詞語按照1到100來打分。1968年，MiltonHakel重複了這個實驗不精確的語言。我們的自然語言是天生模糊和不精確的。我們描述事時間頻率範圍上不明確和不精確的術語的量化

RaySimpson(1944)MiltonHakel(1968)術語均值術語均值AlwaysVeryoftenUsuallyOftenGenerallyFrequentlyRatheroftenAboutasoftenasnotNowandthenSometimesOccasionallyOnceinawhileNotoftenUsuallynotSeldomHardlyeverVeryseldomRarelyAlmostneverNever99888578787365502020201513101076530AlwaysVeryoftenUsuallyOftenRatheroftenFrequentlyGenerallyAboutasoftenasnotNowandthenSometimesOccasionallyOnceinawhileNotoftenUsuallynotSeldomHardlyeverVeryseldomRarelyAlmostneverNever10087797474727250342928221616987520時間頻率範圍上不明確和不精確的術語的量化RaySimps不知道的資料。當資料不完整或缺失時，唯一的解決方法就是接受“不知道”的資料，並用這個資料進行近似的推理。

綜合不同專家的觀點。大多數專家系統經常會綜合大量專家的知識和經驗。不幸地，專家的觀點經常對立並產生有衝突的規則。為了解決這種衝突，知識工程師不得不為每個專家設定一個權重，然後計算綜合的結論。但是，權重的設定也沒有系統的方法。不知道的資料。當資料不完整或缺失時，唯一的解決方法就是接受“機率的概念已經有很長的歷史，可以追溯到數千年前，當時，人們的口語中就出現了諸如“probably”、“likely”、“maybe”、“perhaps”和“possibly”這樣的辭彙。但是，機率的數學理論是在17世紀才形成的。事件的機率是該事件發生的比例。機率也可以定義為可能性的科學測量。基本機率論

機率的概念已經有很長的歷史，可以追溯到數千年前，當時，人們的機率可以表示成從0絕對(不可能發生)到1(必然發生)之間內的數值索引。大部分事件的機率索引嚴格限定在0～1之間，這意味著每個事件至少有兩個可能的輸出：有利的結果或成功、不利的結果或失敗。p(成功)

p(失敗)

機率可以表示成從0絕對(不可能發生)到1(必然發生)之間內的如果s是成功出現的次數，f是失敗出現的次數，那麼如果我們拋硬幣，出現正面的機率和出現背面的機率是一樣的。在某次拋硬幣時，s=f=1，因此得到正面(或背面)的機率是0.5。p(成功)

p(失敗)並且p+q=1如果s是成功出現的次數，f是失敗出現的次數，那麼如果我令A和B是真實世界中的二事件，假設A和B並不相互排斥，在一個事件已經發生的情況下另一個事件也可能在一定條件下發生。在事件B已經發生的前提下事件A發生的機率稱作條件機率。條件機率的數學運算式是p(A|B)，其中豎線表示已發生，完整的運算式可以解釋為“事件B已經發生的前提下事件A發生的機率”。條件機率

令A和B是真實世界中的二事件，假設A和B並不相互排斥，在一個A和B同時發生的次數，或者A和B同時發生的機率，稱為A和B的聯合機率。聯合機率數學運算式為p(A∩B)。若B可能發生的機率為p(B)，則：同樣，在事件A已經發生的前提下事件B發生的條件機率為

A和B同時發生的次數，或者A和B同時發生的機率，稱為A和B的因此,或將上式帶入下式得出貝氏規則

:因此,或將上式帶入下式得出貝氏規則:其中:p(A|B)是事件B已經發生的前提下事件A發生的條件機率。

p(B|A)是事件A已經發生的前提下事件B發生的條件機率。

p(A)是事件A發生的機率。p(B)是事件B發生的機率。貝氏規則

其中:聯合機率

聯合機率如果事件A的發生僅取決於兩個相互排斥的事件，即B和非B，

可得:其中

Ø

是邏輯函數非。同理,將此式帶入貝氏規則可得:如果事件A的發生僅取決於兩個相互排斥的事件，即B和非B，可假設知識庫中的所有規則以下面的形式表達：

規則表示，如果事件E發生，則事件H發生的機率為p。在專家系統中，通常用H代表假設，E表示支持該假設的證據。

貝氏推理

IF EistrueTHEN Histrue{withprobabilityp}假設知識庫中的所有規則以下面的形式表達：貝氏推理IF 貝氏規則可以用假設和證據來表達，如下所示

:其中：p(H)是假設H為真的事前機率。p(E|H)是假設H為真時導致證據E的機率。p(ØH)是假設H為假的事前機率。p(E|ØH)是假設H為假時發現證據E的機率。

貝氏規則可以用假設和證據來表達，如下所示:其中：在專家系統中，解決問題需要的機率由專家提供。專家決定可能的假設的事前機率p(H)和p(ØH)

，如果假設H為真時證據E的條件機率p(E|H)，以及假設H為假時證據E的條件機率p(E|ØH)

。使用者提供證據的資訊，同時專家系統根據使用者提供的證據E計算假設H的p(H|E)

。機率p(H|E)稱作假設H基於證據E的事後機率。在專家系統中，解決問題需要的機率由專家提供。專家決定可能的假吾人考慮多重假設H1，H2，…，Hm和多重證據E1，E2，…，En，但假設和證據都必須是相互排斥且完備的。

下面是單個證據E和多重假設H1，H2，…，Hm：

下面是多重假設H1，H2，…，Hm和多重證據E1，E2，…，En：吾人考慮多重假設H1，H2，…，Hm和多重證據E1，E2，…要使用公式(3-20)，必須先得到對於所有假設，證據的所有可能組合的條件機率。這個要求對於專家而言負擔太重。

因此在專家系統中，應忽略細微的證據，並假設不同的證據是有條件獨立的。這樣，可得到下式，以代替不易使用的公式(3-20)：要使用公式(3-20)，必須先得到對於所有假設，證據的所有可考慮一個簡單的例子

假設一個專家，給出三個有條件獨立的證據E1、E2和E3，產生了三個相互排斥的完備假設H1、H2和H3，並分別提供了假設的事前機率–

p(H1)、p(H2)和p(H3)。專家還要確定對於所有可能假設，每個證據的條件機率。排序潛在的真假設考慮一個簡單的例子排序潛在的真假設事前和條件機率假設首先觀察證據E3。專家系統根據公式(3-19)計算所有假設的事後機率：概率假設i=1i=2i=3p(Hi)0.400.350.25p(E1|Hi)0.30.80.5p(E2|Hi)0.90.00.7p(E3|Hi)0.60.70.9事前和條件機率假設首先觀察證據E3。專家系統根據公式(3-1在觀察了證據E3後，假設H1的可信度下降，並和假設H2的可信度相等。假設H3的可信度增加，幾乎和H1、H2的可信度相等。即

,在觀察了證據E3後，假設H1的可信度下降，並和假設H2的可信假設接下來觀察證據E1，由公式(3-21)計算事後機率：

因此,現在認為假設H2是最有可能的一個。

假設接下來觀察證據E1，由公式(3-21)計算事後機率：因同樣觀察證據E2，專家系統計算所有假設最終的事後機率：雖然專家最初提供假設的順序是H1、H2和H3，但在觀察了所有的證據(E1、E2和E3)後，考慮僅保留假設H1和H3，可以放棄假設H2。同樣觀察證據E2，專家系統計算所有假設最終的事後機率：雖然專Question貝式定理等號的左側比右側的式子還簡單,何時會使用貝式定理?Question貝式定理等號的左側比右側的式子還簡單,何時BayesianClassificationBayesianclassifiersarestatisticalclassifiers.Theycanpredictclassmembershipprobabilities,suchastheprobabilitythatagivensamplebelongstoaparticularclass.NaïveBayesianclassifiersassumethattheeffectofanattributevalueonagivenclassisindependentofvaluesoftheotherattributes.(classconditionalindependence)BayesTheoremP(H|X)=P(X|H)P(H)/P(X)BayesianClassificationBayesiaNaïveBayesianClassificationEachdatasampleisrepresentedasX=(x1,x2,…,xn)Supposethattherearemclasses,C1,C2,…Cm.Givenanunknowndatasample,X,theclassifierwillpredictthatXbelongstotheclasshavingthehighestposteriorprobability.XassignedtoCi

ifandonlyifP(Ci|X)>P(Cj|X)for1≤j≤m,ji.P(Ci|X)=P(X|Ci)P(Ci)/P(X)P