人工基础智能及逻辑 13

第11章概率推理11.1条件命题与不确定性经典逻辑的局限性不确定性的必要性11.2条件概率与命题之间的联系条件概率的定义命题间的联系11.3关于变量的概率推理与独立性变量的表示方法独立性的定义11.4贝叶斯网贝叶斯网的定义概率计算的简化11.5概率推理与信念推理奖券悖论离散条件概率空间11.6结语11.1条件命题与不确定性问题引入在推理中往往需要考虑两个命题之间的关系："如果天下雨，那么草坪就湿""如果草坪没有湿，那么天就没有下雨"经典逻辑的表示用蕴涵符号表示：$$φ$$表示"天下雨"$$ψ$$表示"草坪湿"前者表示为$$φ→ψ$$后者表示为$$¬ψ→¬φ$$蕴涵式的问题一个看似矛盾的推理如果天下雨，那么草坪就湿（前提）如果用帆布覆盖草坪，那么草坪就不湿（前提）如果用帆布覆盖草坪，那么天就没有下雨（结论）形式化表示用$$χ$$表示"用帆布覆盖草坪"：$$φ→ψ$$（前提）$$χ→¬ψ$$（前提）$$χ→¬φ$$（结论）这个推理形式在经典逻辑中是有效的，但结论却很荒谬！问题分析问题出在哪里？一种回应："如果天下雨，那么草坪就湿"这个前提本身就不成立天下雨并不意味着草坪一定湿比如下雨时草坪盖了帆布这种回应的问题对前提的确定性提出了非常高的要求：日常推理总是涉及不确定性和例外情况总能找到特殊的例外情况这些例外情况可能极其罕见解决方案需要在推理中容许一些不确定性，用概率刻画这种不确定性概率表示基本记号用$$P(χ)$$表示命题$$χ$$为真的概率研究目标如何从一些不确定性的前提得到不确定性的结论11.2条件概率与命题之间的联系蕴涵式概率的局限性$$P(φ→ψ)$$并不能很好地刻画$$φ$$与$$ψ$$之间的联系示例假设某地非常干旱，今天天下雨发生的概率只有$$0.01%$$：由于$$φ→ψ$$逻辑等值于$$¬φ∨ψ$$因此$$P(φ→ψ)≥99.99%$$这并不意味着天下雨有$$99.99%$$的可能性导致地湿。单纯只要$$P(φ)$$足够低就能使得$$P(φ→ψ)$$变得很高。条件概率的定义条件概率给定$$φ$$时，$$ψ$$的条件概率记作$$P(ψ|φ)$$定义直观含义$$P(ψ|φ)$$体现了"已知$$φ$$时$$ψ$$为真的可能性"如果统计所有天下雨的情况当中草坪同时也湿的情况所占的比例，这个比例能在一定程度上反映天下雨和地湿之间的联系联合概率计算从条件概率到联合概率$$P(φ∧ψ)=P(φ)×P(ψ|φ)$$定理47（概率链式法则）对于$$n$$个命题$$φ₁,φ₂,⋯,φₙ$$：$$P(φ₁∧φ₂∧⋯∧φₙ)=P(φₙ|φₙ₋₁∧⋯∧φ₂∧φ₁)×⋯×P(φ₂|φ₁)×P(φ₁)$$独立性的定义条件概率与相关性条件概率能够体现两个变量之间具有多强的联系：如果$$P(φ)$$与$$P(φ|ψ)$$差距很大，表明$$φ$$与$$ψ$$具有很强的相关性当$$P(φ)=P(φ|ψ)$$，称$$φ$$独立于$$ψ$$独立性的含义$$ψ$$发生与否对于$$φ$$来说是无关紧要的条件独立性定义73（条件独立性）我们称在确定$$χ$$的情况下，$$φ$$独立于$$ψ$$当且仅当：$$P(φ|χ)=P(φ|ψ∧χ)$$示例单独考虑"天下雨"与"地湿"：两者并不独立在地面覆盖了帆布的情况下：两者之间的联系被切断无论天下不下雨，地湿的概率都为零11.3关于变量的概率推理与独立性变量的引入按照变量来划分不同的命题，研究变量之间的概率联系示例"今天的天气是雨天"与"今天的天气是晴天"都是关于"今天的天气"这个变量的命题"草坪是湿的"和"草坪没有湿"都是关于"草坪的状态"这个变量的命题变量的表示方法基本记号用大写英文字母$$X,Y,Z,…$$表示变量用$$R(X)$$表示$$X$$的取值范围用$$x$$表示$$R(X)$$中$$X$$的具体值用$$y$$表示$$R(Y)$$中的某个值命题表示"今天的天气是雨天"抽象为$$X=x$$这样一个命题简化书写$$X=x∧Y=y$$书写为$$X=x,Y=y$$变量间的独立性定义变量$$X$$独立于变量$$Y$$，当且仅当：对于任意$$x\inR(X)$$和$$y\inR(Y)$$，皆有：条件独立性在已知$$Z$$的情况下，$$X$$独立于$$Y$$，当且仅当：对于任意$$x\inR(X)$$,$$y\inR(Y)$$以及$$z\inR(Z)$$皆有：条件独立性示例天气与滑倒的例子在现实当中：天气和人是否滑倒之间是相关的在雨天滑倒的概率比在晴天滑倒的概率高得多条件独立在确定地面不湿的情况下：天气和人是否滑倒之间是无关的直观理解：天气这个变量必须通过地面的状态间接影响人的滑倒变量组的独立性定义74（变量组的条件独立性）在确定$$Z₁,Z₂,⋯,Zⱼ$$的情况下，$$X₁,X₂,⋯,Xₖ$$独立于$$Y₁,Y₂,⋯,Yₗ$$当且仅当：对于任意相应的取值皆有：向量记号简化表示用$$X⃗$$表示变量$$X₁,X₂,…,Xⱼ$$用$$x⃗$$表示对应的值用$$R(X⃗)$$表示取值范围定义75（向量形式的条件独立性）在确定$$Z⃗$$的情况下，$$X⃗$$独立于$$Y⃗$$（记作$$(X⃗⊥Y⃗|Z⃗)$$）当且仅当：对于任意$$x⃗∈R(X⃗)$$,$$y⃗∈R(Y⃗)$$以及$$z⃗∈R(Z⃗)$$皆有：独立性的性质定理48（独立性的基本性质）令$$W⃗,X⃗,Y⃗,Z⃗$$分别是一组变量，其中：a.对称性$$(X⃗⊥Y⃗|Z⃗)⇒(Y⃗⊥X⃗|Z⃗)$$b.分解性$$(X⃗⊥Y⃗W⃗|Z⃗)⇒(X⃗⊥Y⃗|Z⃗)$$c.弱并性$$(X⃗⊥Y⃗W⃗|Z⃗)⇒(X⃗⊥Y⃗|Z⃗W⃗)$$d.收缩性$${((X⃗⊥Y⃗|Z⃗)∧(X⃗⊥W⃗|Z⃗Y⃗))⇒(X⃗⊥Y⃗W⃗|Z⃗)}$$e.交叉性$${((X⃗⊥W⃗|Z⃗Y⃗)∧(X⃗⊥Y⃗|Z⃗W⃗))⇒(X⃗⊥Y⃗W⃗|Z⃗)}$$11.4贝叶斯网概率计算的问题想知道下雨且盖了帆布且地没有湿且有人滑倒的概率：$$P(V_下雨=1,V_帆布=1,V_地湿=0,V_滑倒=1)$$计算困难由于这些变量并不是完全独立的，不能简单地相乘需要用定理47（链式法则）来计算链式法则的应用根据定理47$$P(V_下雨=1,V_帆布=1,V_地湿=0,V_滑倒=1)$$等于以下条件概率的乘积：$$P(V_下雨=1)×P(V_帆布=1|V_下雨=1)×P(V_地湿=0|V_下雨=1,V_帆布=1)×P(V_滑倒=1|V_下雨=1,V_帆布=1,V_地湿=0)$$这不仅烦琐，而且涉及的条件概率在实践中非常难以获得利用独立性简化计算已知的独立性关系在给定地是否湿的情况下，人是否滑倒和天气是无关的简化过程根据独立性的定义：进一步简化由于$$V_下雨⊥V_帆布$$，故：简化后的结果最终形式$$P(V_下雨=1)×P(V_帆布=1)×P(V_地湿=0|V_下雨=1,V_帆布=1)×P(V_滑倒=1|V_帆布=1,V_地湿=0)$$关键结论关于变量之间独立性的前提能帮助我们便捷地计算多个事件同时发生的概率贝叶斯网的引入表征独立性的需求关于独立性的前提非常重要，如何方便地表征这些前提？直接罗列的问题可以简单直接地罗列出所有关于变量之间的独立性的假设但在面临更多更复杂的变量关系时，罗列方式会冗长且不直观解决方案通过图来表征变量间的独立和不独立关系——贝叶斯网贝叶斯网的定义基本结构贝叶斯网是一个：以变量为节点以变量间的箭头为边组成的有向图马尔可夫相关性称贝叶斯网$$G$$表征了变量的概率分布$$P$$当且仅当：对于任意赋值$$X₁=x₁,X₂=x₂,…,Xₙ=xₙ$$（简写为$$X⃗=x⃗$$）皆有：贝叶斯网的符号说明母节点$$PAᵢ$$表示$$Xᵢ$$在贝叶斯网$$G$$中的母节点即$$G$$中那些指向$$Xᵢ$$的变量对应值$$paᵢ$$表示$$PAᵢ$$在$$X=x⃗$$下对应的值特殊情况如果$$PAᵢ$$中没有任何变量，那么：$$P(Xᵢ=xᵢ|PAᵢ=paᵢ)$$默认就是$$P(Xᵢ=xᵢ)$$下雨例子的贝叶斯网图11-1"下雨"例子中的贝叶斯网验证无论对$$V_下雨,V_帆布,V_地湿,V_滑倒$$进行怎样的赋值（设为$$v₁,v₂,v₃,v₄$$），都有：贝叶斯网的非唯一性示例：A与B事件$$A$$事件与$$B$$事件要么概率相伴发生，要么都不发生同时发生与同时不发生的概率各占$$50\%$$概率条件$$P(A=1)=P(B=1)=50\%$$$$P(A=1|B=1)=P(A=0|B=0)=1$$图11-2描述同个概率分布的不同贝叶斯网贝叶斯网与因果关系重要提醒虽然在图11-1中，贝叶斯网中的箭头正好描述了变量之间实际产生影响的方向但这并不是必然如此图11-2的启示不同的贝叶斯网都与实际概率分布相符合因此并不能从中读出：到底是$$A$$事件决定了$$B$$事件的值还是$$B$$事件决定了$$A$$事件的值下一章预告第12章将继续研究变量间因果影响的问题11.5概率推理与信念推理概率与信念的联系如果将$$P(φ)$$解读为某个主体主观上认为命题$$φ$$有多大可能性为真那么$$P(φ)$$就表征了"相信$$φ$$"的程度条件信念$$P(φ|ψ)$$表征了"给定$$ψ$$（在得知$$ψ$$为真）的条件下相信$$φ$$"的程度信念的二值化问题第6章的信念表征一个主体对于命题$$φ$$只有两种状态：相信：$$B_aφ$$不相信：$$¬B_aφ$$转换问题如何把以概率方式表征的信念转换为仅有"相信"与"不相信"两种状态的信念？阈值方法基本思路划定一个阈值，如果$$P(φ)$$高于该阈值，那么就判定"$$a$$相信$$φ$$"示例：以0.9作为阈值问题这种转换方式与第6章对信念的表征方式之间存在冲突信念的封闭性第6章信念系统的性质$$B_aφ₁∧B_aφ₂⊨B_a(φ₁∧φ₂)$$如果$$a$$既相信$$φ₁$$又相信$$φ₂$$，那么$$a$$相信$$φ₁∧φ₂$$推广形式对于任意$$n$$个命题$$φ₁,φ₂,…,φₙ$$：$$B_aφ₁,B_aφ₂,…,B_aφₙ⊨B_a(φ₁∧φ₂∧…∧φₙ)$$这看起来是显然成立的性质问题若用阈值来定义信念，该性质将导致矛盾例34：奖券悖论问题设置有100张奖券（编号$$1∼100$$）其中有一张能中奖用$$Tₙ$$表示第$$n$$号奖券能中奖随机抽取一张概率计算$$P(Tₙ)=0.01$$$$P(¬Tₙ)=0.99$$奖券悖论的推导根据定义$$(*)$$由于$$P(¬Tₙ)=0.99>0.9$$主体分别相信$$¬T₁,¬T₂,⋯,¬T₁₀₀$$根据$$(**)$$主体相信$$¬T₁∧¬T₂∧…∧¬T₁₀₀$$矛盾$$¬T₁∧¬T₂∧…∧¬T₁₀₀$$意味着每张奖券都不中奖这与已知前提相冲突，故$$P(¬T₁∧¬T₂∧⋯∧¬T₁₀₀)=0$$由$$(*)$$，主体不相信$$¬T₁∧¬T₂∧⋯∧¬T₁₀₀$$得到矛盾！奖券悖论的回应方案1：放弃质化表征所有命题态度都应该以概率这种量化方式表征问题：信念的质化表征在哲学与人工智能领域仍具有很大意义方案2：提高阈值不应该草率地相信"1号奖券不会中奖"问题：即便把阈值提升到0.999、0.9999甚至更高，也总能构造出反例方案3：阈值设为100%除非干脆把门槛提高到$$100\%$$100%阈值的问题无法刻画信念变化希望用$$P(φ|ψ)$$刻画条件信念应当成立：$$P(φ|ψ)⇒在得知ψ为真的条件下认知主体相信φ$$推导一旦把阈值提高到$$100%$$：如果认知主体相信$$φ$$，则$$P(φ)=1$$在$$P(ψ)≠0$$时，$$P(ψ|φ)=P(φ∧ψ)/P(φ)=1$$结论只要认知主体相信$$φ$$，无论获得了怎样的证据$$ψ$$（只要不荒谬），都不会改变关于$$φ$$的信念。这与信念变化的直觉不符。离散条件概率空间解决方案需要一种新的方式把概率推理和信念推理联系起来BaltagandSmets(2008)的提出用波普尔–雷尼（Popper-Renyi）的离散条件概率空间定义信念定义76（离散条件概率空间）离散条件概率空间是一个二元组$$(S,μ)$$，其中：$$S$$是状态的有穷集合$$μ:wp(S)×wp(S)→[0,1]$$是满足以下条件的函数（$$wp(S)$$表示$$S$$的幂集）离散波普尔函数的条件三个基本条件说明$$μ$$被称为离散波普尔函数$$A$$作为$$S$$的子集可以理解为一个命题条件概率的直观含义$$μ(A|B)=1$$的含义给定条件$$B$$则$$A$$几乎必定发生重要注意在波普尔–雷尼的条件概率理论中："$$A$$在给定$$B$$时几乎必定发生"仍允许存在一定条件$$C$$（尽管$$C$$发生的概率也许等于0）使得"$$A$$在给定$$B$$和$$C$$时不发生"$$μ(A|B)=0$$的含义在给定条件$$B$$时$$A$$几乎不可能发生信念与知识的定义定义77（基于离散条件概率空间）相对于离散条件概率空间$$(S,μ)$$，认知主体$$a$$的信念、条件信念以及知识分别以如下方式决定：信念$$a$$相信命题$$Q$$（记作$$B_aQ$$），当且仅当$$μ(Q|S)=1$$条件信念$$a$$在给定$$P$$的情况下相信命题$$Q$$（记作$$B_a^PQ$$），当且仅当$$μ(Q|P)=1$$知识$$a$$知道命题$$Q$$（记作$$K_aQ$$），当且仅当$$Q=S$$信念与知识的特点信念的特点$$μ(Q|P)=1$$表示：给定了$$P$$时$$Q$$在主观上接近于必然但却可能被其他条件推翻符合的性质信念是稳定的但却可错的公理化系统BaltagandSmets(2008)证明了信念推理的逻辑可以被公理化表11-1信念推理的公理系统基本公理公理内容P若$$φ$$为命题逻辑的重言式MP从$$φ₁$$与$$φ₁→φ₂$$推出$$φ₂$$Nec从$$φ$$推出$$B_ψφ$$KB$$K_aφ↔B_aφ$$B1$$B_x(φ→ψ)→(B_xφ→B_Xψ)$$B2$$K_aφ→φ$$B3$