最优化理论学习心得

1、最优化理论学习心得本拟撰写以考虑电力系统静态电压稳定的无功优化问题的建模与求解试验为题的课程小论文，无奈问题简单，数据有限（把握的数据都是上千维变量空间，上千个约束方程的大问题，不便于初步争辩），再加上撰写三个数值报告消耗了大量时间精力，实在无力在考试之前完成这篇论文，只能退而草草炮制这篇学习心得，论文留待假期或以后，涉及到专业争辩方向，总是要写的。      下面谈七点心得体会：最优化问题的普遍性、有用性和趣味性，最优化问题的困难，数学的简洁与简单的辩证关系及其引发的对生活态度的思考，理论问题与数值问题的差异，最优化问题的信息论视角，最优化问题和解方程

2、问题的关系，周老师的贵重精神。      最优化问题无处不在。只要存在选择，并涉及稀缺资源，就肯定存在优化问题。可以很“高深”，比如前面提到的电力系统无功优化问题，比如导弹的轨迹优化问题；也可以很“生活”，比如有同学争辩了在交大教室、图书馆、试验室和几个食堂之间的最优路径问题，比如我曾经写过一篇恋爱中的博弈问题，又比如有同学问周老师：“如何花费最少的时间获得相对较好的最优化课程分数？”但它们有着共同的特点，就是很实际，并且很好玩。可以说，作为一个一般的工学争辩生，以往从没有接触过一门数学课程（除了那些最基本的算术、几何），如此地贴近现实问题，立足现实问题

3、，而最终亦指向现实问题。在最优化理论系统中，除了可以感受到一般数学理论的那种纯粹、抽象、透彻、简洁，也能感受一种无处不在的有用主义价值观，“有用”、“好用”、“凑效”这些看起来不那么“数学”的评价标准在这个领域中也有着相当的地位。而在各种“数学”、“非数学”的标准之间的权衡取舍，本身就是一个多目标优化问题而体现出某种对系统性思维的诉求。思考、争辩这样的问题，即有用，又好玩，令人欢快无穷。      这些可能与生活琐事紧紧相连的问题可能引发数学上极大的麻烦。比如现在大家都知道的背包问题，我看到这个问题的第一反应是：这应当是个很简洁的问题！不错，模型是简洁的

4、，求解的确极富挑战的。又比如最速下降法的收敛性，从直觉上讲实在是让人感到不证自明的东西。然而，放到数学领域严谨考察，问题就不那么简洁了，仅仅对一个正定二次函数就花费了近半节课的时间去证明。再比如对于“皮球下山法”的局部收敛问题。将一个皮球掷向一个可微的谷域曲面，最终能停止到微小值点四周，这是直觉必定，也是物理事实。为了让它能在理论上最终精确停在微小值点，需要取消摩擦力作用；为了让球的能量最终全部耗散，同时为了让连续运动问题变为离散的跳动问题，必需让球在任何状况下都保持跳动而不能滚动，且每次跳动按肯定规章衰减动能。然而，就是这一点点和实际物理过程的看起来不影响结果的改动，放到数学领域严格考察，就

5、会发觉收敛性生怕是有条件的，由于速度的衰减太快，在某种具体的目标函数形态下，完全有可能使算法收敛到不是微小值点的地方。进而，要证明或给出收敛条件，就是很困难的工作了。由于最优化问题本身的多样性与简单性，虽然在最优化理论课程上，我们学习了众多的算法，可是放到现实科学工程领域，真正全面有效的算法其实却不多，甚至限于我的生疏，还没有任何一种对于高维的、有简单约束的全局优化问题凑效的算法，而现实科学工程领域中，这样的问题并非少见，在我个人的领域中，更是随处都是。然而，正由于有困难，这个领域也才拥有无限的进展空间和蓬勃生气，从而散发出醉人的魅力。      数学近

6、乎天下之至简，好比全局优化算法“穷其一生”也无法完全把握的目标函数的全局信息，通过目标函数一个短短的解析式就能完整包括；一个二维的优化问题或许我们可以凭直观观看快速获得全局最小值点，但对于大于更高维，多约束的问题，直观就无能为力，经过严格证明可行的数学方法确定解决这些问题；千差万别的现实世界信息好像无穷无尽，然而全部的重要的核心数学理论（或物理理论的数学描述）集中起来或许一张CD都装不满就能描述其中大部分的运动变化规律，难怪有毕达哥拉斯者认为世界就是数学的实例。然而数学也近乎天下之至繁，一方面，数学是对现实某一方面的抽象，另一方面数学要求严格的规律必定性，掺不得半点沙子。而现实对象往往是具体的

7、简单的，要用数学精确描述一个具体对象的全部（或打算性方面）是不行能的（或很简单的）。回到最优化问题上来，这就引发了一种对生活态度的思考：现实生活中，我们是否需要最优化结果和最优化方法？我想现实的考虑是，需奉中庸之道。假如我们面对生活中的任何问题，都追求用确定严格的优化方法，追求获得确定的最优解，那么，很可能什么事都做不了了。很多时候，在现有已把握的方法和结果中选择最不差，比在一切可能的方法和结果中选择最好，要实际有效得多。比如对于社会改良问题，政策设计问题。而对于另一些问题，假如我们把留意压力集中在最优性的功利思维上，就有可能最终反而破坏结果的最优性，比如对于那个学习最优化课程的最优时间花费问

8、题，周老师认为读书做学问不能实行这样的态度。       理论问题和数值问题的差异是在本学期两门相关数学课上才被真正值作一个问题摆在我们面前的。我想这本身就是我国数学基础教育的一个弊病：由于在争辩生教育以前，很少接触数值计算及相关问题，同学无法对这个问题有充分的感知和眼界，而现实当中需要数学的时候，恰恰又都无法避开数值计算问题，于是，所学和所用之间多了一条裂痕。这是应当引起思考和重视的。在最优化理论课程的三次数值试验中，无处不是数值计算相对理论计算的差异。最典型的问题是局部优化算法的牢靠性。对于一切基于一维搜寻的方法，当一维搜寻在理论上确定可行的时候，在

9、现实计算中消灭理论外结果的状况几乎可说是大量存在的，特殊对于某些特地的测试函数。目标函数的数量级太大，梯度函数的数量级太小，舍入误差等等，都可能使一维搜寻失败、结果不行靠甚至特别退出，为防止这些不符合理论要求的状况消灭（且不说有时是防不胜防），又需增加运算负责检查矫正，最终也很难完全避开。信任域的方法同样存在着数值计算中的不行靠，甚至在小尺度时，试验中比基于一维搜寻的方法有时更加不行靠。又比如特征值计算问题，当使用eigs()函数而Hessian阵数值的数量级太大时，就会发生特别返回。再比如，在各种消灭数值大小比较的地方，都存在着数值计算带来的问题和隐患，比如判定Hessian阵正定，理论上只

10、需最小特征值大于0，可是，万一由于数值的缘由这个最小特征值在计算机中是负的，就会得出错误的结果。相等推断更是 如此，一切“x=A”对double变量都因舍入误差的存在是不行靠的，只能是"|x-A|<e"，那么e怎么取，又构成新的问题。最终，像最速下降法这样理论上对正定二次函数肯定收敛的算法，当特征值分布分散，问题维数很高的时候，实际是不行行的，根本达不到现实中的精度要求。总之，计算机在大力推动数学的进展和应用的同时，也引出了许很多多新的问题，理论和工具的结合，本身产生了大量理论问题，这是任何一个从事科学工程领域工作的人都必需有所生疏的。  

11、;   最优化问题到底是个什么问题？我认为，抽象地讲，解最优化问题的过程，就是猎取目标函数一条全局信息的过程，这个需要猎取的全局信息，就是某点的函数值最小。为什么说这是个全局信息？由于说某点函数值“最小”，其实是说某点函数值“比其它全部点的函数值都小”，包含了该点函数值对全部点函数值的大小比较关系，这当然是全局性的。而最优化问题的主要冲突就是，问题的解所包含的信息是全局性的（并可能是无限的，由于包含了无限个大小关系推断），但为求取这个解所能（从包含函数一切信息的解析式和约束关系中）采集到的可利用信息(如函数值大小或大小关系)是局部的甚至单点的（并多半是有限的），且采集次数是有限的。比

12、如求一点函数值，只能得单点信息。又比如水平集方法之所以不好用，就是由于它每一步都要求算法获得水平集测度这种全局信息。正是这个根本冲突，导致了最优点搜寻、确认上的困难。局部优化问什么可获得必定的解决？由于对于可微函数，从解析式中的有限次（一次）信息采集如求单点梯度就可获得一个有限领域内可利用的局部（而非仅仅单点）信息。比如，假如知道一点梯度为零并且知道函数正定，我就知道在某个领域中该点函数值肯定最小，而不用通过无限次求取领域内各点函数值与该点函数值比大小来猎取这个局部信息。然而，对于全局优化问题，我们却没有这样的手段（有限的各阶导数对一般函数总是领域信息）。我在第三次报告中总结了一类算法的思路，

13、是对微小值点有限的目标函数，设计有效的方法在微小值点间转移或遴选，从而最终得到全局最小值点。放到这里来讲，就是对于微小值点有限的函数，全局可以划分为有限个局部，而局部有效信息，可以通过有限的信息采集获得，最终把全部局部有效信息拼接起来就得到需要的全局信息。也就是说，通过局部信息的有限次累计，得到全局信息。其实比较各种局部优化算法就可有这样的体会，理论上好的算法，往往就是能在各次猎取单点信息的过程中实现一种信息累积（比如下降算法本身就是一种信息累计搜寻过的地方永久不会再搜），使得算法把握的信息越来越能钩织出局部信息。出于这样的生疏，我认为，要创造一种好的全局优化算法，可以在两个地方下功夫：一是如何从解析式与约束中通过少的信息采样挖掘出更大范围、更大信息量的信息；二是，如何逐步有效累积信息把前面挖掘的信息汇成全局信息。另外是否可以把信息、通信领域的理论方法结合到最优化理论中，也是值得思考的问题。      最优化问题和解方程问题在很多时候是等效的。比如一阶最性条件就是个方程，而一些解方程的方法，就是将方程反构成最优化问题来解（比如共轭梯度法的起源）。Matlab的