条件机率表的表示法.ppt

第十五章機率推論函數,15.1表現不確定性領域的知識15.2多聯結訊息網路中的推論15.3不確定推論法的知識工程15.4其他不確定性夫論的方法,15.1表現不確定性領域的知識,使用稱為信念網路（beliefnetwork）的資料結構來表現變數之間的相依性，並用以對聯集機率分配做簡要說明。一個信念網路是一個具有下列特性的圖（graph）1.一個隨機變數的集合構成該網路的各個節點。2.一個有向連結或箭號的集合連接成對的節點，一個由節點X到節點Y的箭號代表對有直接影響。3.每個節點有一個條件機率表（conditionalprobabilitytable）用來記錄父節點對子節點的定量影響。一個節點的箭號所指向的所有節點都稱為該節點的父節點。4.圖中不存在有向循環（也就是一個有向非循環圖，或稱為DAG）,考慮P15-2的狀況。當我們得到誰打了電話或誰沒有打電話的證據（evidence）時，就會想推測竊盜發生的機率。這個簡單的領域可以用信念網路呈現，如圖15.1。,信念網路的意義,有兩種可以了解信念網路代表意義的方法，第一種是將該網路視為聯集機率分配的表示法，第二種是將該網路視為對一系列非限制性條件敘述的一種編碼方式。雖然兩種觀點是相等的，第一種表示法的結果有助於了解如何建立網路，第二種表示法對於推論程序的設計有幫助。,聯集機率分配的表示法,念網路提供一個對於領域的完整描述。每個聯集機率分配的項目皆可由網路中的資訊計算得出。通常聯集(joint)的每個項目是一個連結的機率，其中每個變數有特別的指定值，例如，簡寫為P(x1,xn)。這個項目的值可由下列公式（15.1）得出,建立信念網路的方法,恆等式（15.1）定義何謂一個已知的信念網路。然而，它並沒有解釋要如何建立一個信念網路才能讓獲得的連結分配恰當描述一個既定的領域。我們將指出恆等式（15.1）包含若干獨立條件關係，可用來引領知識工程師建立網路拓撲。,緊湊性與節點排序,作為一個有完整性且沒有贅述的領域表示方法，一個信念網路通常比完整聯集函數還要具有緊湊的特性。這項特性使我們能在不使條件機率值呈指數成長的情況下處理大量證據，避免如同14.4節所討論到Bayesian更新(updating)的現象。,若我們恰好選擇錯誤順序會如何？再次考量盜賊的例子。假設我們決定依序加入節點MaryCalls，JohnCalls，Alarm，Burglary，Earthquake，則會得到一個較為複雜的網路（圖15.3左邊）。程序如下：加入MaryCalls：沒有父節點。加入JohnCalls：若Mary打電話，可能表示警報已經響了，當然John打電話的可能性會提高。,加入Alarm：明顯地，若兩人都打電話，警報器已經響起的可能性比只有一個人或沒有人打電話的可能性更高，所以需同時以JohnCalls和MaryCalls作為父節點。加入Burglary：若已知警報器的狀態，則有（或沒有）John或Mary打的電話能讓我們知道是電話響了或Mary把音樂開得很大聲，但卻無法告知我們是否有盜賊的資訊，也就是P(Burglary|Alarm,JohnCalls,MaryCalls)=P(Burglary|Alarm)因此只需以Alarm作為父節點。加入Earthquake：若警報響則發生地震的可能性較高（因為警報器也是一種地震偵測器）。但若已知有盜賊，則警報的參考價值與發生地震的機率都很小。,條件機率表的表示法,即使只有很少量的父節點，一個節點的條件機率表仍需要大量的條件機率。完成這個表似乎需要很多時間以及很多關於所有可能條件的經驗。父節點與子節點之間可為任意關係，而事實上，這是一個最糟狀況的狀況。通常這些關係是幾種標準分配中的一類也就是說，他們有一些標準形態。在某些例子，完整表格可以使用對形態命名並提供參數的方式定義。,信念網路的條件獨立關係,在上述的分析中指出一個信念網路表達一個節點與其先前節點(predecessors)間的條件獨立關係，已知該節點的父節點，並使用這個獨立關係以設計一個網路的建構方法。若要設計影響函數，無論如何，都需要知道是否有更多的一般條件獨立關係成立。若有一個已知網路，當給予一個佐證(evidence)節點集合E時，有沒有可能讀出一個節點集合X是否獨立於另一個集合Y？答案是肯定的，且這個方法是產生自有向相依分割(direction-dependentseparation)或d-分割的觀念。,信念網路中的推論,任何機率推論系統的基本任務是在確知一些佐證變數值的情況下，計算一個查詢變數集合以後的機率分配。也就是計算P(查詢|證據)。在警報器範例中，Burglar是一個明顯的查詢變數，JohnCalls和MaryCalls可作為佐證變數。,機率推論的本質,深入推論演算法的細節之前，值得花些時間探討這類演算法能做到哪些事情。我們會看到單一方法在不確定性的狀況下能處理非常多樣看似合理的推論。思考計算P(Burglary|JohnCalls)的問題，在John打電話的狀態下有盜賊的機率。對人類而言這個問題相當棘手，因此對很多推論系統而言會需要加入人的判斷。,信念網路不限於診斷推論，而且實際上可以建立四種不同的推論方式：診斷推論（由結果推測原因）因果推論（由原因推論結果）交互因果推論（結果相同的發生原因之間）混合式推論（結合兩種以上上述的方法）,這四種形態被描述於圖15.6。除了計算查詢變數中的信念，佐證變數定義明確的值，信念網路可用於下列方面：根據網路的機率和代理人的功能做出決策。決定哪一個額外的佐證變數應被發覺以獲得有用的資訊。提供靈敏的分析以了解模型的哪一個觀點對查詢變數的機率有最大影響（也要精確）。對使用者解釋機率推論的結果。,回覆查詢的演算法,起始於查詢變數，沿著路徑鏈結各節點直到抵達佐證節點。因為在兩條不同路徑包含相同節點時複雜度會升高，將導出一個只作用予個別連結網路（singlyconnectednetwork）的演算法，也稱作多元樹（polytree）。這種網路的任意兩個節點間最多只有一條無向路徑。用於一般網路的演算法（第15.4節）將使用多元樹演算法作為主要子程序。,圖15.7表示出一個一般的個別連結網路(singlyconnectednetwork)。注意有父節點U=U1Um和子節點Y=Y1Ym。對每個子節點和父節點我們畫一個方塊，包含所有該節點的衍生節點(descendants)和祖先節點(ancestors)。,15.4多聯結訊息網路中的推論,一個多聯結（multipleconnected）圖中每兩個節點都有一條以上的路徑相聯結。造成這種現象的原因之一是某些變數有兩個以上的起因，而這些起因有共同的祖先。也可以用多聯結網路來描述某變數經由一種以上的因果機制而受其他變數影響的狀況。例如，圖15.9顯示如下的狀況天氣多雲有一個因果連線到下雨，並有一個因果連線到草坪灑水器是否打開（若庭園管理人看到雲，則打開灑水器的機率較低）。,分群法,要評估如圖15.9所示的網路，方法之一是將網路轉換為一個多元樹，藉由結合Sprinkler和Rain節點成為一個稱為Sprinkler+Rain的大節點（meganode），如圖15.10所示。兩個布林節點被一個大節點所取代，此大節點共有四個值：TT,TF,FT,和FF，但只有一個父節點布林變數Cloudy，因此有兩個條件式範例。,切集條件法,切集條件法採取相反的方向。有異於將網路轉換為一個複雜的多元樹，這個方法將網路轉換成多個較簡單的多元樹。每個簡單網路有一個或多個變數可被實際列舉(instantiated)出確定的值。P(X|E)的計算是以一個加權平均除以每個多元樹所計算出的值。一個能經由實際列舉而產生多元樹的變數集合稱為切集。圖15.11的切集只有Cloudy，因為它是一個布林變數，因此只有兩個結果多元樹。,隨機模擬法,隨機模擬法也稱為邏輯取樣(logicsampling)，經由重複模擬信念網路所描述的世界，並計算相關事件出現的頻率以評估感興趣的機率。每一次模擬皆從為網路的每個根節點隨機選取一個值開始，根據先前的機率給該選項一個加權值。,15.5不確定推論法的知識工程,機率推論系統的知識工程方法與8.2節邏輯推論系統的方法很類似：決定談論什麼。這個步驟依然很困難。能夠決定哪些因素要被表現成模型，而哪些因素只要根據機率敘述做總結很重要。決定代表隨機變數的字彙。決定要用到的變數，以及可能的值。有時候將一個有連續值的變數量化為離散的範疇會很有用。將關於變數之間相依性的知識編碼。包含定性的定義，例如哪個變數與其他哪幾個相關，以及定量的指定機率值。這些值可來自知識工程師或專家的主觀經驗，或是經由量測過去在經驗資料庫發生的頻率，亦或來自兩者的組合。,為特定問題個案的描述做編碼。例如，我們感興趣的特定患者是一位34歲要治療嚴重下顎疼痛的女性。向推論程序提出查詢並求取答案。最常見的查詢是詢問一些假設變數的值。例如，已知病患的症狀，則原因是牙周病或其他疾病的機率為何。因為條件機率表的值有不確定性，用靈敏度分析（sensitivityanalysis）判斷答案的確定程度也很常見。,範例研究路徑找尋系統,PATHFINDER是一個診斷淋巴結疾病的專家系統，由史丹佛醫學計算機科學計畫（StanfordMedicalComputerScienceprogram）的成員在1980年間建立（相關討論請參考Heckerman(1991)）。這個系統可處理60種以上的疾病以及100種以上的疾病推測（症狀與可能結果）。這個系統已經有四個版本被建立，而且所有歷史經驗都有益處，因為顯示了在不確定性推論時系統熟練程度有增加的趨勢。,15.6其他不確定性推論的方法,其他科學（如醫學、遺傳學、經濟學）長期以來偏好以機率作為不確定性的模型。PierreLaplace在1819年說過”機率理論只是一個簡化推算的常識”。JamesMaxwell在1850年說過”這個世界的真理是機率學的推算，斟酌其存在、或必須存在常人心智中的重要性”。StephenJayCould（1994）主張”誤解機率可能是所有科學讀寫能力的阻礙中最大的一項”。,預設推論法,預設推論法經常被指意味著”跳到結論”。例如，當看到一輛車停在街上，人通常會自動接受車子有四個輪胎，即使那輛車只有三個輪胎。（若你覺得對第四個輪胎的存在性有疑慮，同時也思考其他三個看得到的輪胎是不是真的，或只是用紙板複寫的。）機率理論可以明確得到第四個輪胎存在的結論。,用規則基礎方法做不確定推論,除了單調性之外，邏輯推論系統還有機率推論法所缺乏的其他三項重要特性辨位能力（Locality）在邏輯系統中，不論何時若有一個形式為AB的規則，就可以由已知的證據A對B做判斷，不須擔心其他規則。在機率系統中需要考慮所有可取得的證據。分離性（Detachment）一旦發現一個定理B的邏輯證明，可不顧慮該定理如何產生就使用它。也就是說，定理可與其辯證分離。另方面，處理機率問題時，一個信念的證據起源對後來的推論很重要。真實功能（Truth-functionality）邏輯上，複雜句的真值可由元素的真值計算。機率組合的運算並非如此，除非在強獨立（strongindependence）的假設條件之下。,對於無知的描述方法Dempster-Shafer理論,Dempster-Shafer理論被設計來處理不確定性與無知的分辨。與其計算定理的機率，不如計算證據支持定理成立的機