随时确定性的随机连续时间马尔可夫过程.doc

电子商务信息管理 专业：电子商务 班级：1333班 姓名：李瑞平学号：201321102330 随时确定性的随机连续时间马尔可夫过程厄尔布斯拉加州大学河滨分校基督教r谢尔顿加州大学河滨分校摘要我们描述一个随机确定性方法、计算过滤和平滑分布，在大型variable-based连续时间马尔可夫的变化过程。之前，不随机算法，收敛到真实的极限分布，无限的计算时间。当内部使用的期望导致不稳定，抽样算法可以给不同的结果每次运行最大化或其他算法。我们的方法，结合了随时收敛的性质，与随机收敛的性质，与随机抽样杂文集一一的性质操作方法。它是建立在一个时间允许订购产品的扩张矩阵前，我们证明我们的方法形式比当前最好的抽样方法对基准问题。1. 连续随机系统连续系统离散状态随机模型描述系统的事件时间不同步于全局时钟。例如：网页搜索（gvnawar-达纳etal,2012），计算机网络（徐、谢尔顿.2010）.社交网络（风扇、谢尔顿2009）。机器人技术（Ngetal.2005），系统验证（Baier etal;2003）以及系统发育树（Cohn,etal,2009)等等。离散化时间可以计算昂贵，这个“分配”宽度必须比美国东部事件之间的时间短的多。这可能导致低效的com-pntation事件或预期的事件的时期不太频繁，很多像表示“状态”的数值算法。（浮点而及其实现比定点表示）在发展数值算法中是有用的，连续时间对随机动系统来说是有用的。本文重点是马尔可夫的模型，一个离散时间马尔可夫过程，row-stochastil矩阵M和分布V（作为一个行向量）的计算。素食新闻=xmn向前传播n次步骤，在一个连续时间马尔可夫过程（CTMP）率（一紧张度）矩阵Q，Vt=VeQt。单位以相同的方法向前传播，这是在计算一步过滤平滑和参数估计中的关键，当V的规模很大，结构（al-v和问降低他们的效率表示）我们关注如何计算这个矩阵指数。除了最简单的情况下，Vt内部没有真正的；特别是在由联合作业的假设状态空间分解下的状态变量，即使V是完全独立的，Vt不再有任何结构（除非Q也代表了一种完全的影响系统），这是同样的问题出现在dy-向前运动的贝叶斯网络（DNNS）propa-gation导致耦合系统中的所以变量，我们假设一个完整的分布状态空间太大的存储，因此寻求一个近似。1.1以前的工作这个问题在消失的decision-diagram-base表示强度矩阵Q得到关注，然而，这背后的假设文学是，尽管Q可能保持代表，需要一个确切的答案，因此，Vt表示为一个完整的向量，随机算法是其中之一，例如（费尔南德etal;1998).相比之下，我们假设代表Vt明确不可能的，我们将要对分销Vt进行预期计算。在我们的方法中，我们共同在连续时间贝叶斯网络（Nodelman Centrate-etal;2002），（CTBNS)。但该方法一般针对任何Q的克罗内克产品的总和，即使最简单的期望(如边界)是计算(np困难证据证明的是一个简单的扩展贝叶斯网络),所以我们关注近似。在文献丁腈,有许多这样的方法,大致分为两组。第一个是变分方法如预期传播(El-Hay et al .,2010)和平均场(科恩et al .,2009)。这些方法是确定的。然而,他们不收敛真正价值随着计算时间增加,一般只计算边界或类似的期望。美国证券交易委员会(sec)-作为集团包括重要性抽样方法抽样(风扇et al .,2010)和吉布斯抽样(Rao &起来,2011)。这些方法收敛到真值并且可以估计任何期望的vt。然而,随机内使用时,这会产生问题算法(如expectation-maximization)。1.2我们的方法我们建议的方法是确定性和收敛限制的无限的计算时间。它可以被视为一个抽样和确定性方法之间的桥梁。我们将系统分解成两个部分:一个系统(一个)完全独立的组件,修正(B)。我们关于系统的确切原因和添加增加修正条款来源于B。我们生成一个计算树遍历它使用一个优先级队列,选择较大的修正条款。我们首先假设问和proba提出我们的方法性向量可以存储。然后,我们将演示如何进行有效地计算时问吗是结构化的。在2.4节中,我们提出一个简单的例子地面派生。最后我们展示结果比较我们的方法的计算效率其他任何时候收敛的方法。2. 矩阵指数的计算考虑一个CTMP和离散状态描述由一个初始状态分布行向量的大小n和vn-by-n率矩阵Q的大小。率矩阵表示的利率系统状态之间的转换。过渡的速度从我j qij 0和状态过渡的状态我是气的速度= Pj qij。的率矩阵的对角元素是消极的行总结:qii =气。如上所述,分布在时间t,t 0,计算了vt = veQt在eQt世博会矩阵是-用泰勒展开式eQt nential= P1k = 01的矩阵指数的计算非常广泛应用于美联社-于数学和数值方法有很多解决(硅藻土&贷款,2003)。如果状态方程结构联合作业变量,它的大小,n,随数增加呈指数增长的变量,米。这使得eQt计算棘手的对于大型系统。通过问这丛的结构是不简单的,因为它是不保存的矩阵指数，此外,交换道具-erty不一般的矩阵指数:为任何相同矩阵A和Be(A+B)t eAteBteBteAt,除非换向器A,B= = AB BA van-ishes. 一个可能的分解来自“Kro -内克尔和属性:然而,克罗内克资金只能描述率矩阵系统所有变量是独立的。 一般情况下,e(A + B)可以被视为一个微扰吃的的方向Bt(Najfeld &哈维尔,1995)可以表示为：这是一个递归函数。本系列,第一次探索量子场理论(戴森,1949)被称为以时间为顺序的系列产品(上),或一些-次path-ordered指数。在随机过程中,Mjolsness & Yosiphon(2006)称之为以时间为顺序的产品扩张和用它来指导抽样算法-rithm。我们将采用扩张获得阻止-ministic方法,以时间为顺序的树产品(TTOP)。2.1计算树顶我们两个假设:可以分为Q = A + B,在veAt是相对简单的计算,和B = PJ J可控的条件j = 1 Bj。我们将展示如何实现这些假设在接下来的部分。我们使用方程1和应用dis -的扩张矩阵乘法的tributive属性之和外的积分:让外语(t)表示TH的扩张。然后,方程可以改写为：建设的第一个任期内,veAt很简单,解决(如将解释2.2节）。2.1.1积分扩张我们计算每个积分用下面的扩张我们对待一个多项式部分完全和使用自适应正交估计non-polynomial穷-。q(t)是一个分片多项式。进一步的指示问(t)=r t0(年代)ds和q(r1,r2)(t)=(r1 t :Qijui如果i0 =我如果i0 2 k,k Pa(Xi)& k val. i0的ui我否则:(12)在k,k是一个矩阵的零,除了一个位置k,k。这样,Rijui inQijui分配率在适当的位置问:丁腈的问因此Q =MXi= 1X用户界面Moi0 = 1R(ijui);来自他们!(13):这对应于我们的层表示的问是0和有一个Bj为每个变量和实例化它的父母。我们可以强度拉进一个矩阵定义B(ijui);i0 =8 :QijuiAi如果i0 =i如果i0 2 k,k Pa(Xi)& k val. i0的ui我否则:(14)然后Q =米I人工智能+MXi= 1X用户界面Moi0 = 1B(ijui);来自他们!(15):代数是长,但是很简单。它因为人工智能是恒定的ui和对ui表示求和每个可能的实例化一次。结果是Ai代表一个独立的、近似的过程习。一个是联合这些独立的过程近似。独立之间的差异过程,给出了丁腈Bijui为每个变量及其父母的实例化。注意(ijui);i0 =我如果i0不是我的父母。因此,大多数的组件任何Bj的身份和计算ueAsBeAs这些组件是微不足道的(它们是一样的u)。因此,计算N(问;u;半;j)是当地的价值物体图3 计算树的部分例如图2 t = 4。每个框计算树中的一个节点(见图1)。a和b节点是根的孩子。节点d、e的孩子下一个级别(l = 2)。节点c是一个例子细化(节点b)。方程11规定的儿童如何c l = 2计算,因为半6 = 0的节点。2.4 丁腈的例子图2显示了一个简单的2-variable丁腈和一个可能的矩阵分解为A和b .这里当地的人工智能选择最低的利率。因为X1没有父母,A1是准确、没有条件。X2生成2 B。如果我们让v = v1v2(v1和v2独立的边界X1和X2),然后如图3所示计算树的一小部分。该方法本质上是准确计算的影响和包含的影响B泰勒展开,添加越来越多的条件。注意,在图2中,A1和A2适当强度矩阵(行数目0)。这意味着B2j0和B2j1负对角元素。这导致一个对应的计算泰勒展开式与交替的迹象。这会导致计算问题。另一个选择是安排B没有负面元素。例如A2 =4234,导致B2j0 =2 01 0和B2j1 =0 20 1。缺点是v2eA2t金额小于1。非根节点添加概率答案(而不是移动在答案)。最后,丁腈,Bj尤其乘法简单。j值索引变量(Xi)和一个实例化其父母(ui)。一个分解向量乘以Bj,Xi组件乘以QijuiAi.为每一个零组件与父母有关,所有元素向量的除了一个一致的用户界面。向量对照管节点不变。2.5平滑和计算方面的考虑到目前为止的讨论都集中在过滤。我们会也喜欢进行平滑。我们将限制自己的情况下最初的分布在时间为0,v,知道,在稍后的时间T的证据向量vT代表的证据的可能性系统的每个可能的状态。我们假设这两个正如以前讨论的媒介因素。我们的目标是计算(预期)的分布在时间t条件在时间t的证据由计算阿达玛(逐点)的产品veQt和vT eQ(Tt)(and然后result).正常化首先,考虑每个指数分别计算。让“转发”方向的结果pJ .提出计算的jth节点贡献在哪里j =纳米i= 1 j,i。让“落后”的方向是类似的图4.计算时间与吉隆坡发散的环形线圈网络= 2时,= 0:5图5.计算时间与吉隆坡发散的环形线圈网络= 2时,= 1表示为它可以很容易地可显示为因此,我们必须考虑每两个节点,一个从向前扩张和一个来自向后扩张。对于每一对,分解想必的组件同轴和逐点地增加在一起得到的对答案的贡献。我们想要包括这些条件对最好明智地使用预算有限的计算。我们这样做是通过保持一个弗伦联盟-层组对计算节点,一个向前的树和一个从落后的树。如果我们有了(添加到平滑结果)jk,我们添加到弗伦联盟-层组j和k的所有儿童和j的孩子配上k。我们用一个封闭列表以确保没有一对接下来的问题是如何优先弗伦联盟的成员层。我们需要估计的总贡献这副图和所有后续对。我们选择这个查询节点的贡献值的总和(呈献值的变化),最大的产物每个节点的价值。3、 实验我们实现了我们的方法,TTOP(树的时间-订购产品),如CTBN-RLE代码库的一部分(谢尔顿et al .,2010),它将包括在未来版本。我们评估我们的方法合成网络伊辛模型的动力学。是一个著名的伊辛模型与应用程序交互模型在许多领域萤火虫-荷兰国际集团(ing)统计力学、遗传学和神经科学(周&施密德尔,2009)。实验结果-关注最后准确给定网络。伊辛模型被选中,这样我们可以计算出真正的答案吗合理的时间和规模大小的问题。使用这个模型,我们生成了一个导演环形线圈净-工作结构周期后(El-Hay et al .,2010)。根据耦合节点遵循父母的州强度参数()。速度参数()决定节点状态之间的切换速度。我们全国矿工工会规模误码率的节点在网络但限制21能够比较结果的推理。我们使用三个网-作品分别m = 9、15和21个二进制变量。我们可以不包括网络超过21二进制因为我们无法做精的求幂运算的变量矩阵的大小超过221 221在合理的时间。我们规模网络的节点通过添加行。对于这些网络我们修复参数和不同。节点可以值1和+ 1。我们比较TTOP两个随时有效算法:辅助吉布斯抽样(AuxGibbs)(Rao &诗词学会,2011)和重要性抽样(是)(风扇et al .,2010)。我们也相比平均场变分方法(MF)(科恩et al .,2009);然而,错误forMF超过误差范围其他方法的计算时间。由于这个原因,我们在故事情节省略MF的结果。我们分析错误在边界相对准确,计算每个方法过。我们专注于计算时间,因为在我们的实验记忆和整个computa不是一个问题树只有少数GBs占领。TTOP,我们设置了数字正交的分裂(见方程5)10,因为它产生一个好的compu -界定的时间和错误的性能。我们改变compu -界定时间预算观察compu之间的权衡界定时间和错误。AuxGibbs,我们不同样本大小和50之间5000年,设置这个值的老化期为10%。的是,500年到50000年之间的样本大小各不相同。我们跑实验为每个测试对山姆- 100倍当乞丐的方法。所示的计算时间的情节平均这些运行给定的萨姆-pl。这个错误是所有的KL-divergences之和从他们的真实值边界。我们的实验关注平滑。网络开始从一个确定的状态,在t = 0 m = 9:变量1 - 5 + 1和6 - 9是1。在t = 1、变量1 - 3转到1,4 - 5 + 1,6 - 9已经转向+ 1。m = 15和21的增强型植被指数我们使用一个类似的模式丹斯原因比较。m = 15,变量1 - 5、7 - 8、10 - 11 + 1开始,剩余的变量从1开始。变量1 - 3开关1,4 - 5、7 -8、10 - 11留在+ 1,6、9和12 - 15 + 1。m = 21的证据也遵循相同的模式扩展到21个节点。节点之间没有观察到t = 0和t = 1。我们查询在t = 0:5边际分布的节点。图4和图5显示计算时间与笔吉隆坡-地区的差异。我们专注于第一个20秒计算时间,因为通常几秒钟足以让我们的推理任务。块中的行con -继续他们的趋势和交叉在某种程度上,除了图4 b。KL-divergence笔10 2通常是准确的对于这些网络。图4显示了结果= 2,= 0:5。对于大多数这些实验,TTOP执行比抽样方法。当网络的耦合强度= 1,如图5所示,TTOP更多误差随着计算时间的增加而变化总体上仍然有更好的性能。偶尔的山峰在错误发生,因为有时一个com的一部分putation树扩展添加到总和,没有部分平衡,因为预算的时间过期。这可以被视为更多的计算时间的算法,平衡的错误减少的部分。方法使计算时间与错误的优势。此外,我们的方法和其他人之间的差距皱纹与网络的大小。特别是当= 1,它执行更好的更大的网络。虽然我们可以-不执行精确推理更大的网络,我们预计这些趋势将继续随着问题规模的增加。TTOP也更短的计算时间,是-导致它解决e(上)直接集成在山姆-当乞丐方法可以生成只有少数样本。虽然的衍生品小TTOP线,这可能可能固定有更好的节点优先级。最好的节点优先级会看着contri -bution整个子树的根节点,而不是只有该节点的贡献。我们的启发式是好的最初的几个级别的树,但它确实不一样当我们去更深层次的在树上。预计TTOP误差的波动。的抽样误差从单一运行会波动好。我们的方法的绘制结果来自一个运行相比平均抽样方法的结果100年运行。4、 结论我们演示了一个结构化的随时算法CTMP滤波和平滑。不同于之前的工作,这是德-terministic,可以当用在学习中受益荷兰国际集团(ing)的方法。在实验中,它具有更好的计算时间和误差性能比之前随时转换绅士的方法,尤其是对松散耦合的系统。也随着网络规模的增加和耦合强度保持相同的,我们的方法的优势增加。应答这项工作是由劳拉p利兰K。惠蒂尔虚拟PICU洛杉矶儿童医院(加州大学河滨分校的奖项- 12101024和8220 - sgnzz0777 - 00)美国国防部高级研究计划局(奖fa8750 - 14 - 2 - 0010)。引用赫尔曼斯Christel,Baier Haverkort、Boudewijn,Holger,和Katoen Joost-Pieter。模型检测算法连续时间马尔可夫链。ieee软件工程,29(6):524 - 541年,524年6月。伯奇,杰瑞r。克拉克,埃德蒙。长,大卫e。符号模型检测和重新分区的过渡颁布的。在国际会议上非常大的规模集成、49-58页。1991年8月。Ciardo,詹弗兰科和Yu,安迪Jinqing。饱和,使用连接词象征意义的可达性分析和分离的分区。在正确的硬件设计和验证方法,146页161年,2005年。科恩,被罩,El-Hay Tal,Kupferman,拉兹和油炸人,近红外光谱。平均场变分近似连续时间贝叶斯网络。在诉讼程序unc - 25日的国际会议2009年人工智能,tainty。戴森,f . j . Tomonaga的辐射理论施温格,费曼。物理评论,75(3):486502年,1949年。El-Hay Tal,科恩,