房孝文外文翻译

1、毕业设计(论文)外文资料的翻译学校(系):数学和物理系专业：信息和计算科学班级：081001姓氏：方孝文学生：没有。081001104附件：1。翻译；2.原文2012年5月拟牛顿加速度的高维优化算法化州大卫亚历山大兰格摘要：在许多统计问题中，最大似然估计通过EM或MM的收敛速度非常慢，这种趋势限制了现代高维数据挖掘、基因组学和成像算法的应用。不幸的是，大多数现有的加速技术不适用于涉及大量参数的复杂模型。瓦拉丹和罗兰，最接近平方，构成了一个非凡的概念。本文提出了一种新的准牛顿加速方案，该方案每次迭代只需要一个适度的增量和计算机计算的总存储量，并有几个性能优越的有代表性的平方检验。关键词：最大似然

2、，多元，混合模式，成像，广义特征值。1导言统计学采用最大似然法和最小二乘估计法。因为封闭形式解的最大似然方程是例外而不是规则，所以分析方法是算法(D等，1977；小河鲁宾2002；克罗克兰德和克里希南(2008)恩-乔伊有广泛的用途。在过去的十年中，统计学家已经认识到这种算法是一种特殊情况，并且在1994年进行了更广泛的MM(最小最大化或最小优化算法)排序；海泽1995；Becker等人，1997-2000年；亨特和兰格2004；吴和兰格2008)。这开辟了新的途径、设计等等。使用MM的算法在数值上是稳定的。除了这种理想的性能改进之外，MM算法还处理了参数约束的优雅性。约束满足被定义为在解决方

3、案中建立的最大化步骤。然而，MM算法存在一些问题。首先，他们的慢控制经常收敛到住宅区的最高点。在高维应用中，慢收敛是一个首要问题。另一个批评适用于像牛顿法这样的分数，那就是他们不能区分最大值与局部值和整体值。大多数现有文献在第4章：克罗克兰和氪-伊什南(2008)中总结了加速电磁铝算法。就像瓦拉丹和罗兰(2008)，现有的方法可以大致分为两种。第一类成员采用电磁核聚变，可以更好地逼近观测信息矩阵的对数似然性。例子包括拟牛顿近似法(兰格95；詹姆什迪安和jennrich1997)和共轭梯度法(Jamshidian和jennrich 1993)。交换速度，这些方法牺牲了稳定性和简单算法。第二类的重

4、点是直接修改单个细胞的算法。这些方法包括数据扩充(孟和，1997)和参数扩展(px-em)(刘等，1998)，细胞外基质(孟和鲁宾，1993)和ecme(刘和鲁斌，1994)。该方法提高了算法的收敛速度，同时提高了第二类预留的性能。然而，它们是暂时和微妙的调节。最近，varadhan和Roland (2008)增加了一个第三类平方迭代法(squarem)来寻找一个算法映射，类似于牛顿法来寻找一个不动点。他们对阿特金加速法(路易斯1982)的类似版本在很大程度上忽略了观察到的对数似然性。Squarem算法保持了简单的原始算法，最小的存储需求，适用于高维问题。在本文中，我们建立了一个新的准牛顿加速

5、器在许多方面类似于平方加速器。首先，它是现成的，并广泛适用于任何搜索算法与精细地图平滑算法。它只需要一张更新的地图和一些额外的计算机代码。同样，与以前的拟牛顿加速法相比(兰格1995；詹姆什迪安和jennrich1997)，其操纵观测信息的矩阵或Hessian映射的算法。这使得它对高维问题的标准特别有吸引力。第三，铝-虽然它不能保证升级的财产时，美联社-共享一个移动管理算法，这可以恢复到普通移动管理在必要的时候。这种后退位置的主要原因是我们关注的是MM和算法。像块松弛(deleu 1994)和直线搜索份额陡升这样的算法提高了性能，并且这些算法也适应于加速。在第二部分，我们描述了新的拟牛顿特征。

6、三个部分说明了基础理论的各种数值例子。我们的例子包括截断-二项式模型、泊松混合模型、多变量分布、遗传学中的混合模型、图像和电影分级模型，以及寻找最大或最小广义特征值的双对称矩阵的迭代算法。一些参数的范围从2到数万。在这些例子中，我们讨论我们的发现。拟牛顿加速算法在这一部分，我们得到了一种新的拟牛顿法来加速平滑优化算法。以前的工作(兰格1995；詹姆什迪安和詹瑞希1997)占据了牛顿法角度优化的目标函数。这需要存储和处理完全近似的黑森矩阵，而艾德-曼丁的任务是高维问题。也可以是等式0=x-F(x)，它合理地使用牛顿法来寻找根，其中F是算法映射。改变局部视角的优点是直接处理和遍历算法。G(x)现在

7、用来表示x和f (x)之间的差，因为G(x)已经微分了DG (x)=I df (x)，而牛顿迭代法是基于如果我们可以近似地传递一个低阶矩阵M，那么我们可以用I-M来代替它，并明确地形成逆。割线逼近法由拟牛顿法操作，从当前点经过两次迭代，我们可以得到一个点。如果我们接近最佳点，那么我们有线性近似其中，如果v是一个向量，u是一个向量，那么割线要求实际上是我们需要的近视的最佳割线这可以通过当前迭代点和q-1迭代获得。3.讨论：该算法是统计工具箱中最常用的工具之一。MM算法是对该算法的推广，有其积极的特点。资产之间的两种算法简单、稳定，优雅地适应了限制和趋势，避免了大量的矩阵求逆。随着参数数量的增加，

8、分数和牛顿法的吸引力越来越小。不幸的是，已知一些电电磁和磁记忆算法收敛缓慢。这是值得关注的，比如统计学家在一个时代领先的大规模数据集和高维模型。统计学家必须找到一个有效的加速方案，用EM和MM算法来补偿左竞争算法。拟牛顿法讨论是当前文献中的一个候选。一个成功的加速方法将有助于解决另一个恼人的问题，即多学科综合。通常，没有人知道如何统计数学推理是一个致命的缺陷，因为标准的优化算法会收敛到一个子模式。当前的处理选项是从多个随机点开始搜索算法。加速算法是受欢迎的，因为它有一些起点，可以在不增加计算时间的情况下扩展。相反，我们最近的提议(周和兰格2009c)建议修改标准算法，并且前几毫米应该可靠地达到

9、全局最大值。这些简单的修改是基于确定性退火(上田变化和中野1998)我们的加速方案试图找到一个映射到新的ton方法附近的定点算法。像squarem一样，我们的计划是现成的，适用于任何搜索方法确定的平滑算法地图。存储的要求是(传输)，这里是参数的个数和割线条件的调用量。每次迭代都很简单：两次普通的更新和一些矩阵向量乘法次数。整个计划是线性的。这些固有关系使得它对现代高维问题很有吸引力。在我们的数值例子中，拟牛顿加速度等于或优于平方。这是一个简单的防御方代码。正如我们所介绍的，拟牛顿法可以应用于任何目标函数或算法映射。由目标函数模拟的算法收敛图程序称为有限记忆拟牛顿更新的数值分析文献(无cedal

10、和Wright 2006)。虽然我们没有做预拉伸测试，但我们的印象是，两种形式的加速度在计算复杂度和内存需求方面是有所比较的。然而，用算法直接映射也有一些优点。首先，算法映射往往比目标函数梯度容易。其次，我们的地图库对加速度有线性约束。一个系统的比较方法是值得追求的。以前的文献(参考1995年)显示，MM通过代理函数调整lbfgs来保留曲率信息。目前的研究提出了许多问题，因为它的答案。首先，最好选择一些割线条件，问不同的问题。我们的考试方案显示高维问题的好处相对较大。然而，这一规则并不普遍。类似的批评也适用于squarem，它至少有三种不同的口味。另一个问题是，准牛顿加速度可能违反非线性边界条件的限制。可行域中的中间有限闭凸集。11.3，2004)有助于预测兰格的任性点回到可行区域。第三，虽然准牛顿加速几乎总是增强控制收敛速度的匹配算法，但是可能有其他的铝算法做得更好。首先，应特别注意参数展开、块松弛或块松弛和毫米的组合。多元化是一个很好的例子。拟牛顿和平方加速算法都优于px-em算法。最后一个缺点，准牛顿加速度，会破坏初生铝的上升或下降特性。这是一个特殊的危险时刻，必须将加速度点以外的可行区域投影到它上面。为了简单起见，在我们的示例中，每当支柱属性上升或下降时，我们都返回到原始算法。一个更有效的策略可能是回