最优化运用心得范文.doc

最优化运用心得范文 最优化问题的普遍性、实用性和趣味性，最优化问题的困难，数学的简单与复杂的辩证关系及其引发的对生活态度的思考，理论问题与数值问题的差异，最优化问题的信息论视角，最优化问题和解方程问题的关系。 最优化问题无处不在。 只要存在选择，并涉及稀缺资源，就一定存在优化问题。 可以很“高深”，比如前面提到的电力系统无功优化问题，比如导弹的轨迹优化问题；也可以很“生活”，比如有同学研究了在海师大教室、图书馆、实验室和几个食堂之间的最优路径问题，它们有着共同的特点，就是很实际，并且很有趣。 可以说，作为一个普通的理学本科生，以往从没有接触过一门数学课程如此地贴近现实问题，立足现实问题，而最终亦指向现实问题。 在最优化理论系统中，除了可以感受到一般数学理论的那种纯粹、抽象、透彻、简洁，也能感受一种无处不在的实用主义价值观，“实用”、“好用”、“凑效”这些看起来不那么“数学”的评价标准在这个领域中也有着相当的地位。 而在各种“数学”、“非数学”的标准之间的权衡取舍，本身就是一个多目标优化问题而体现出某种对系统性思维的诉求。 思考、研究这样的问题，即有用，又有趣，令人快乐无穷。 这些可能与生活琐事紧紧相连的问题可能引发数学上极大的麻烦。 比如对于“皮球下山法”的局部收敛问题。 将一个皮球掷向一个可微的谷域曲面，最终能停止到极小值点周围，这是直觉必然，也是物理事实。 为了让它能在理论上最终精确停在极小值点，需要取消摩擦力作用；为了让球的能量最终全部耗散，同时为了让连续运动问题变为离散的跳跃问题，必须让球在任何情况下都保持跳跃而不能滚动，且每次跳跃按一定规则衰减动能。 然而，就是这一点点和实际物理过程的看起来不影响结果的改动，放到数学领域严格考察，就会发现收敛性恐怕是有条件的，因为速度的衰减太快，在某种具体的目标函数形态下，完全有可能使算法收敛到不是极小值点的地方。 进而，要证明或给出收敛条件，就是很困难的工作了。 由于最优化问题本身的多样性与复杂性，虽然在最优化理论课程上，我们学习了众多的算法，可是放到现实科学工程领域，真正全面有效的算法其实却不多，甚至限于我的认识，还没有任何一种对于高维的、有复杂约束的全局优化问题凑效的算法，而现实科学工程领域中，这个领域也才拥有无限的发展空间和蓬勃生机，从而散发出醉人的魅力。 理论问题和数值问题的差异是在本学期两门相关数学课上才被真正当作一个问题摆在我们面前的。 我想这本身就是我国数学基础教育的一个弊病由于在研究生教育以前，很少接触数值计算及相关问题，学生无法对这个问题有充足的感知和眼界，而现实当中需要数学的时候，恰恰又都无法避免数值计算问题，于是，所学和所用之间多了一条裂痕。 这是应当引起思考和重视的。 在最优化理论课程的三次数值实验中，无处不是数值计算相对理论计算的差异。 最典型的问题是局部优化算法的可靠性。 对于一切基于一维搜索的方法，当一维搜索在理论上绝对可行的时候，在现实计算中出现理论外结果的情况几乎可说是大量存在的，特别对于某些专门的测试函数。 目标函数的数量级太大，梯度函数的数量级太小，舍入误差等等，都可能使一维搜索失败、结果不可靠甚至异常退出，为防止这些不符合理论要求的情况出现，又需增加运算负责检查矫正，最终也很难完全避免。 信赖域的方法同样存在着数值计算中的不可靠，甚至在小尺度时，实验中比基于一维搜索的方法有时更加不可靠。 又比如特征值计算问题，当使用eigs函数而Hessian阵数值的数量级太大时，就会发生异常返回。 再比如，在各种出现数值大小比较的地方，都存在着数值计算带来的问题和隐患，比如判定Hessian阵正定，理论上只需最小特征值大于0，可是，万一由于数值的原因这个最小特征值在计算机中是负的，就会得出错误的结果。 相等判断更是如此，一切“x=A”对double变量都因舍入误差的存在是不可靠的，只能是|x-A| 最后，像最速下降法这样理论上对正定二次函数一定收敛的算法，当特征值分布分散，问题维数很高的时候，实际是不可行的，根本达不到现实中的精度要求。 总之，计算机在大力推动数学的发展和应用的同时，也引出了许许多多新的问题，理论和工具的结合，本身产生了大量理论问题，这是任何一个从事科学工程领域工作的人都必须有所认识的。 我认为，抽象地讲，解最优化问题的过程，就是获取目标函数一条全局信息的过程，这个需要获取的全局信息，就是某点的函数值最小。 因为说某点函数值“最小”，其实是说某点函数值“比其它所有点的函数值都小”，包含了该点函数值对所有点函数值的大小比较关系，这当然是全局性的。 而最优化问题的主要矛盾就是，问题的解所包含的信息是全局性的，但为求取这个解所能采集到的可利用信息是局部的甚至单点的，且采集次数是有限的。 比如求一点函数值，只能得单点信息。 又比如水平集方法之所以不好用，就是因为它每一步都要求算法获得水平集测度这种全局信息。 正是这个根本矛盾，导致了最优点搜索、确认上的困难。 因为对于可微函数，从解析式中的有限次信息采集如求单点梯度就可获得一个有限领域内可利用的局部信息。 对于全局优化问题，我们却没有这样的手段。 也就是说，通过局部信息的有限次累计，得到全局信息。 其实比较各种局部优化算法就可有这样的体会，理论上好的算法，往往就是能在各次获取单点信息的过程中实现一种信息累积使得算法掌握的信息越来越能钩织出局部信息。 出于这样的认识，我认为，要发明一种好的全局优化算法，可以在两个地方下功夫一是如何从解析式与约束中通过少的信息采样挖掘出更大范围、更大信息量的信息；二是，如何逐步有效累积信息把前面挖掘的信息汇成全局信息。 另外是否可以把信息、通信领域的理论方法结合到最优化理论中，也是值得思考的问题。 最优化问题和解方程问题在很多时候是等效的。 比如一阶最性条件就是个方程，而一些解方程的方法，就是将方程反