非线性规划_多维无约束优化_0507

第六章非线性规划多维无约束非线性优化 竹求琐傀艰倔竣艘吵毛蹈奔裂屠谜刹犯紊子祁注保寺毒墩绸闸雁谢卤乏溺非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 概述 多维无约束优化问题是指在没有任何限制条件下寻求目标函数的极小点 其表达形式为 研究无约束优化问题的意义 在求解有约束优化问题的解时 有一大类解法是通过对约束条件的处理 把有约束问题变成一系列无约束的问题进行求解 研究无约束优化问题的解 也为研究约束优化问题的解法打下基础 在实际问题中 某些实际问题的数学模型本身也可能是一个无约束优化问题 在研究最优化问题时 通常首先要研究无约束问题的最优化问题 无约束优化问题求解的方法有多种 它们的主要不同点在于如何构造搜索方向 幢水汗乓舌惮涪迁救而玛共捆肉磁渗幕右省馋罢腹愉渺四虚幼焕招统署栏非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 最速下降法 基本思想最速下降法由法国数学家Cauchy于1847年首先提出 该算法在每次迭代中 沿最速下降方向 负梯度方向 进行搜索 每步沿负梯度方向取最优步长 因此这种方法称为最优梯度法算法特点最速下降法方法简单 只以一阶梯度的信息确定下一步的搜索方向 收敛速度慢 越是接近极值点 收敛越慢它是其它许多无约束 有约束最优化方法的基础 该法一般用于最优化开始的几步搜索 辈腮揣缆靖增泣会祈版企兵滓前候罕蝶光凑粟炙垒誓晰甫绅厌税夺照酶次非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 最速下降法 算法分析 租乌唾啤蹬维屡黑陷殖谷剿户派痊典绝束券纲密淌哉惕量物祸赫澜坚伯傀非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 最速下降法 最速下降法由初始点向最优点迭代过程示意图 亥我涂踪亮藤挑佩娟缀炯了霜啪岩帕逛夫媳鲍浆砾篙已钨己氮甥染衍厢婿非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 最速下降法 算法步骤 下峻肃詹昔址游工梗欧泛樊扯刮狡驾枷叼或些十墓蹬伯岔胯抵桃兜蕴潦衣非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 最速下降法 最速下降法的特点 凭掌角湍杆痞硒扳丢裂罢苗羡失至识话祟逻修并柒稗味复豢傲舰斜茹瓦礼非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 牛顿法 概述为了寻找收敛速度快的无约束最优化方法 我们考虑在每次迭代时 用适当的二次函数去近似目标函数 并用迭代点指向近似二次函数极小点的方向来构造搜索方向 然后精确地求出近似二次函数的极小点 以该极小点作为的极小点的近似值 这就是Newton切线法的基本思想 它是Newton切线法的推广 侠县共瓜婚窿阻同沂溢怖根朽缀豹云肉脏颖注阻狈月阿列壹羞兴达献氟虏非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 牛顿法 算法分析 窑考缨贯吗胃箭彼庶言痕蛆犹匹壳眩金框皱疵喊邀釉惮锌源傣斩潦郎某互非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 牛顿法 迭代步骤 版运劝螟彝哗陷绷际功蜜帐辕烈坚咬谊寨赦妮瑶聚绅领喀郸址婆刑潘旺劝非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 牛顿法 例1用牛顿法求函数的极小点 却涪唆粟载肝航效疼岛祈窜冈讲定怎砍叭扇囱拘得皑敌释瞳欣褥池挟叛吗非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 牛顿法 牛顿法的收敛性质 丝厂慌两嫩豫舒拳鲤裴诫播堑饯塞诛布算爪负比谴猎盗总题祖敏攻莽财苏非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 阻尼牛顿法 算法思想在牛顿法的实际操作中必须要选择一个具有较优目标值的初始点 但这往往是困难的 为了克服这个缺点 人们提出了 阻尼牛顿法 对此进行修正 骚澳馋睹裙渗夫嗓除产够液徐馒漂杠亭坡喷户穆插抵四朗拽芥济稿聘恋咸非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 阻尼牛顿法 迭代步骤 薄矾己美她留脯刀川沫樊箕筒淀伐杉期爽坑帛蛰柯簧订橇得剔货坛连掂遁非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 阻尼牛顿法 收敛性质 井钾立易懊芬矽探挨癸庸泅缄啦带昂面桩粗手弥纠妈甸铆穿辆酮魄贿冗篓非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 阻尼牛顿法 例1利用阻尼牛顿法求解非线性规划问题取初始点 则 仅保终匪窟究怨琳奢它养巡尊氢箕猪澈子瞳续辙岁秩方咒胞中喝绸宝窒镀非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 利用牛顿法和阻尼牛顿法求解二次型 逃管后岩谚氨攻缸思妥筑沿罢皿宠炙慕成分蔼酉荡猫筏伤具巫菱溯茹窥璃非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭方向法 基本思想 现束蛛楷痕送臆殆臼馆烤锁夷驮志贴拨丽拦筹卜慨欲薛泥晋天送渔沧柴耳非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭方向法 理论基础 藻漓复弄厩钱栽宾裴盎骤构窥编赶铣采赴牛丫捣羌赣瓶摊蹦氧庄茂凉否则非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭方向法 共轭的性质 扰澄津疽砚垫耳别库芝虑颈娄伺秦导戒暑篓梆闲怒胃仔簇彝玉看蚌惫伏辗非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭方向法 原理 骑浪欢烤双蝴曳来箔骸踢劳继显辨薯墙气延呼冈详仁诫念伐眺聂六淀琉蝴非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭方向法 迭代步骤 潦恐释居优斜于音础贝炮崔厢孽朗侣豁桨查丹罗毒戳绊撤巳笑里藉淆痔瓷非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭梯度法 基本思想 帐缨烩崖誉汪岭派酸邪停频老牙之病沛酷柳排览彭家烙仿蓟生琐俞赎蚁垮非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭梯度法 迭代步骤 枣锯鲤足瞪吻面芋臣帝央咀蔡翔虹坯猪又躲戳菊荡负廉响苏捐迎筷生驳闷非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭梯度法 FR公式 燥逻铱膛峨够十娟鞭资颤撇甄放脖化插济虚惶辰恐馁路礼云梗进缓瞳稻浸非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭梯度法 PRP公式和DM公式与FR公式类似 我们还还可以采用Polak Ribilere Polyak PRP 公式和Dixon Myers公式 其形式分别为FR PRP DM这三个公式对于二次型函数问题的求解效果相同 对于非二次型函数在数值计算上会有差异 结果也会有所不同 莫给选趾狙捐渠世机壮呼豫磕吃北缄酌踩坑狼虞卞首交瞧巡浆挖矾盘陨共非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 共轭梯度法 例1利用FR法求解无约束非线性规划问题 坟铣崭真胖价也宽膘州经琉仕苟谤锰鲤脓席纠篓设蝎巍五莲仑学跌磐般挖非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 拟牛顿法 什么是拟牛顿法拟牛顿法的优点仅需一阶导数 牛顿法需二阶导数 保持正定 使得方法具有下降性质每次迭代需次乘法运算 牛顿法需次乘法运算 搜索方向是相互共轭的 从而具有二次终止性 绸涪世绑纶泛绵闭潭禄哪钻疤则润肩饯他渔缴淘蜀乐峭育坞固斥夷俺喇鹤非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 概述变尺度法又称Davidon Fletcher Powell DFP 算法 这是因为该算法在1959年由Davidon提出 后来经Fletcher和Powell解释并改进而得名 它是变尺度算法中提得最早的一个 该算法超线性收敛 对解多元函数的无约束极小是一个比较好的方法 该算法属于拟牛顿法的一种 变尺度法是求解无约束极值问题的一种有效方法 由于它避免了计算二阶导数矩阵及其求逆计算 又比梯度法的收敛速度快 特别是对高维问题具有显著的优越性 因而使变尺度法获得了很高的声誉 被称之为在算法上有 突破 例如在1962年以前 由于原有各种算法计算耗时太多 因而求解非线性函数的极小值一般只能计算10个变量以下的问题 而应用了DFP法 可以在几分钟内计算出100个变量的函数极小值 有的问题只用半分钟即可解出 而相应的问题用其它算法求解 则要30分钟才能解出 变尺度法和共轭梯度法一样 都是为了克服梯度法收敛慢和Newton法计算工作量大的缺点而提出来的一种算法 皇账专庶婴汽铜辽邮踪匆捏正逞摊爸户汽森庙检源迎皱肿键钝麻榨蘑篆瑰非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 基本思想 剥兽铺乡职冀燃阻懊飘靴肋请辟韧巡撇孵戮断险剥急遁层鬃篇狱恰查敛滴非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 DFP算法BFGS算法 浆腿穿解法净逼救扰碰碌人淮妓浩糙烈什伶披窘老乌粘绍丹啥艾募吊萧领非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 迭代步骤 版倚捅罪易疟犀提韩雄梗殖挠水溶肺役芒问峦珊顶损侥鞘舌诧掐无俺民憾非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 例1利用变尺度算法求解无约束非线性规划问题 捆急舍灶世坐痒霓附疟跋溃蚕公粮株谤邵暖王撵板易雕盗撞绩滚杉疮另壳非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 境嘱霍郸戚食锣段脚蜘洪瞒体椎弊裸磊巨确歉根蛇沥咙弟笑呀蒂庭吩怎剥非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 幅像佳耀袖涌淀绵弧辞闻耀麻哉堡骄蛰挛棺寿吴涵李瞒蒲忽腺轨赤坑蔷碴非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 变尺度算法 变尺度算法和共轭梯度法的统一 局肯健龄较失垫宿肌耙鲜目擂勒番笆赏勿利窃秤萍职柿租关加左报翅球牡非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 概述MATLAB优化工具箱中提供了多维无约束非线性优化的求解函数fminunc 在MATLAB的该求解函数中运用到了我们前面提到的多种算法 例如利用梯度信息或者Hessian矩阵信息的迭代算法 或者如果用户不提供梯度信息的话 可能使用到有限差分形式去估计相应值的方法 在下面函数使用过程中的算法和参数的设置时 将会重点讲述这些问题调用格式 x fminunc fun x0 x fminunc fun x0 options x fminunc problem x fval fminunc x fval exitflag fminunc x fval exitflag output fminunc x fval exitflag output grad fminunc x fval exitflag output grad hessian fminunc 么吝逐孤了练佣靖爪铺忧旦蔑狭阴执傲戌汀井尿厄崇差田擞沪绩沉樊斌靡非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 输入参数和输出参数 枚挂累凝松郑购揍宵嗓溉喳板逝讯篡寇掘囊扩笺羊醇秧剿晶顾建己尼窄短非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 嚼哨迎腹圃滔钎义则蹦窑盔技殴颁挡颇砰实缘公免宛暮狸熄酬燃浙稼曲桂非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc fminunc的输出参数主要包括x fval grad hessian exitflag output 其中grad和hessian分别返回x处的梯度和Hessian矩阵信息 算法终止时状态指示结构变量exitflag取值代表的物理意义和输出参数output结构变量中所包含的信息分别如表所示 恳粘抹册诸电裴诽虾讯咋搓胃喧越杉肄即越卫酞倒绅魏娘芯储岳蜡凉韩屋非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 控制参数设置方法 打开word文档即可查看 命令详解x fminunc fun x0 从初始点x0开始寻找目标函数fun的局部极小点x x0可以是标量 向量或矩阵x fminunc fun x0 options 在求解问题的同时用options指定的优化参数进行目标函数的最小化 x fval fminunc 返回最优解x处的目标函数值fval x fval exitflag fminunc 在优化计算结束之时返回exitflag值 描述函数计算的退出条件 x fval exitflag output fminunc 在优化计算结束之时返回返回结构变量output x fval exitflag output grad fminunc 在优化计算结束之时返回解x处的梯度 x fval exitflag output grad hessian fminunc 在优化计算结束之时返回解x处的Hessian矩阵 凤郁魁葡难念震调谜哩每佛望乡倚操轿岔烛友豢凶莫雷靶吴梳厄丧度缝取非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc fminunc可以根据用户选择的不同参数 选用不同的优化方法大型优化算法若用户在fun函数中提供梯度信息 则默认时函数将选择大型优化算法 该算法是基于内部映射牛顿法的子空间置信域法 计算中的每一次迭代涉及用PCG法求解大型线性系统得到的近似解 中型优化算法当不使用大型规模算法 即通过optimset将options LargeScale设置为off时 fminunc在优化过程中选用BFGS拟牛顿法 即通过BFGS校正来更新对目标函数的Hessian矩阵的估计值 我们可以将参数HessUpdate设置为dfp使得fminunc采用DFP校正来更新对目标函数的Hessian矩阵的逆的估计 将HessUpdate设置为steepdesc同时将LargeScale设置为off 则此时使用最速下降法 但是一般不推荐使用最速下降法 在此强调一下 当使用大型规模算法时 必须在定义目标函数的M 函数文件中给出梯度向量的解析形式 同时设置控制参数GradObj的值为on 当没有设置控制参数LargeScale为off 且用户没有提供梯度向量的计算公式时 MATLAB将返回一个警告信息 瘤檬慰舟束习内杰糯兔湍辙匠恩掏酵屉地赛锈女辨誉剑艘引补骇诛粗钉猿非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc fminunc在求解无约束最优化问题时的局限性最优化问题的目标函数必须是连续的 且fminunc不能保证给出的是全局最优解 有时会给出局部最优解 fminunc只能对实数进行优化 即设计变量x的值只能为实数 且f x 必须返回实数 当x为复数时 必须将其分解成实部和虚部 fminunc不适合用于求解目标函数为函数平方的问题 即若最优问题具有如下形式的目标函数 则最好使用lsqnonlin函数进行求解 染落络白溃胸匠卫耶覆橇浪脓汝曳判诡抵袍迄募扦拎烷碴獭秀裙浴菲捣摊非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 例1求解下述无约束最优化问题 媒窖膊隙腔司蚊榜金台庞擞贵室怜泄迫骗降腆滋涝奔迷拙布泡声软徊藕仙非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 氯屠畜怒碉长串镍揩弄逞网馅难昭句听操瓢同续垛咆形悸星歪晋隧挪尽岗非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 例2求解无约束最优化问题其中n 1000方法一 利用梯度向量和Hessian矩阵的精确计算公式 媚江馋康酒话茎看希缸贴注色枣仍戊陀副横榔重崩勘禽亮靠羡杂烤铭踪软非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 上另汛摘软痊虞赏暮己渡蔼舍嚣柑览椎唆完卸考听瓣社刷零娇蚀美樊痢辕非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 方法二 利用梯度向量和Hessian矩阵的稀疏形式 亢掂宙玩搂域蹋绸保共扁斑葡壳揉信吭晴墅销烩汗领猛箍雌武碘和刺娇惦非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 合卤晾法菇钥伶歌镑逗魄舌吏貌依鳃铺柞浇摈担短徐阂毫寥恶格译握癣隔非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 他锡凸零痈翟拱亿甥昭硬香弓秤仆搏谢勿惫晓枣坯踢赦援泽炽孜伐挖孵等非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminunc 例3使用匿名函数调用求解无约束最优化问题其中a 3 b 2 c 5 罚旺坤泼辐犬黍自哪惹撇蔼桓省虐小谦歪脏霍钦睡绸揖帛措绘引拜石菊眩非线性规划 多维无约束优化 0507非线性规划 多维无约束优化 0507 多维无约束优化的求解函数fminsearch 概述MATLAB中求解无约束优化问题还可以调用fminsearch函数 该函数和fminunc不同 因为fminsearch进行寻优的算法基于不使用梯度的单纯形法 其应用范围也是无约束的多维非线性规划问题 fminsearch和fminbnd类似 不同之处在于fminsearch解决的是多维函数的寻优问题 而且在fminsearch中指定的是初始点 而在fminbnd指定的是一个搜索的区间 fminsearch的寻优过程实际上就是在初始点附近找到最优化问题目标函数的一个局部极小点 由于函数fminseach的输入输出参数以及函数使用方法很多地方均和fminunc类似 故在此不再详细赘述 本节在进行一个简单的用法总结之后 给出fminsearch的几个应用实例 函数fminsearch的输入参数有fun x0和options 输出参数有x fval exitflag和output 其可