最优化方法及其应用

最优化（一）　　一最优化问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 总论二一维搜索法三常用无约束最优化方法四常用约束最优化方法五程序设计及其他优化方法一最优化问题总论　　无论做任何一件事，人们总希望以最少的代价取得最大的效益，也就是力求最好，这就是优化问题．最优化就是在一切可能的 方案 气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载 中选择一个最好的方案以达到最优目标的学科．例如，从甲地到乙地有公路、水路、铁路、航空四种走法，如果我们追求的目标是省钱，那么只要比较一下这四种走法的票价，从中选择最便宜的那一种走法就达到目标．这是最简单的最优化问题，实际优化问题一般都比较复杂．　　概括地说，凡是追求最优目标的数学问题都属于最优化问题作为最优化问题，一般要有三个要素：第一是目标；第二是方案；第三是限制条件．而且目标应是方案的“函数”．如果方案与时间无关，则该问题属于静态最优化问题；否则称为动态最优化问题　　本书只讨论静态最优化问题．一最优化问题总论　　最简单的最优化问题实际上在高等数学中已遇到，这就是所谓函数极值，我们习惯上又称之为经典极值问题．例1.1对边长为a的正方形铁板，在四个角处剪去相等的正方形以制成方形无盖水槽，问如何剪法使水槽的容积最大？一最优化问题总论　解设剪去的正方形边长为x，由题意易知，与此相应的水槽容积为　　　　　　令　得两个驻点：一最优化问题总论第一个驻点不合实际，这是因为剪去4个边长为的正方形相当于将铁板全部剪去．现在来判断第二个驻点是否为极大点．因为　所以是极大点结论是：每个角剪去边长为的正方形可使所制成的水槽容积最大．一最优化问题总论例1.2求侧面积为常数体积最大的长方体体积．解设长方体的长、宽、高分别为　，，，体积为　，则依题意知体积为限制条件为由拉格朗日乘数法，考虑函数§1.1最优化问题数学模型令由题意可知应是正数，由此，将上面三个等式分别乘以，并利用已知条件得到§1.1最优化问题数学模型比较以上三式可得　从而x=y=z=a，右侧面积固定的长方体的最大体积客观存在，因此侧面积固定的长方体中以正方体体积最大．一最优化问题总论例1.3某单位拟建一排四间的停车房，平面位置如图1.1所示．由于资金及材料的限制，围墙和隔墙的总长度不能超过40m，为使车房面积最大，应如何选择长、宽尺寸？一最优化问题总论解设四间车房长为　，宽为　．由题意可知面积为且变量　，　，应满足即求，一最优化问题总论　　最优化问题的数学模型包含有三个要求：即变量（又称设计变量）、目标函数、约束条件．　一、变量　二、目标函数　三、约束条件　四、带约束条件的优化问题数学模型表示形式一最优化问题总论综上所述，全书所要讨论的问题是如下的（静态）最优化问题，其表示形式有三种：第一种最优化问题表示形式为第二种最优化问题表示形式为一最优化问题总论第三种最优化问题表示形式为　　　　　　　　　　　　　　　　（1.1）　　其中一最优化问题总论上述三种表示形式中，称为集约束．在所讨论的最优化问题中，集约束是无关紧要的．这是因为一般，不然的话，通常也可用不等式约束表达出来．因此今后一般不再考虑集约束．满足所有约束的点称为容许点或可行点．容许点的集合称为容许集或可行域．可用表示．一最优化问题总论一般地，对于最优化问题（1.1）的求解，是指在可行域内找一点，使得目标函数在该点取得极小值，即这样的称为问题（1.1）的最优点，也称极小点，而相应的目标函数值　　称为最优值；　　　合起来称为最优解，但习惯上把　本身称为最优解．最优点的各分量和最优值必须是有限数．一最优化问题总论一、二维最优化问题的图解法讨论二维最优化问题为一最优化问题总论（一）约束集合　当约束函数为线性时，等式约束在坐标平面上为一条直线，不等式约束在坐标平面上为一半平面；当约束函数为非线性时，等式约束条件在坐标平面上为一条曲线（如图），不等式约束把坐标平面分成两部分当中的一部分（如图）．　一最优化问题总论　　综上所述，当把约束条件中的每一个等式所确定的曲线，以及每一个不等式所确定的部分在坐标平面上画出之后，它们相交的公共部分即为约束集合D．一最优化问题总论例1.4在坐标平面上画出约束集合解:满足的区域为以原点为圆心，半径为1的圆；满足的区域为第一象限的扇形（如图所示）．一最优化问题总论（二）等高线我们知道在三维空间中表示一张曲面．其中为常数）在三维空间中表示平行于平面的一个平面，这个平面上任何一点的高度都等于常数（如图）．在三维空间中曲面与平面有一条交线．交线在平面上的投影曲线是，可见曲线上的点到平面的高度都等于常数C，也即曲线上的的函数值都具有相同的值．一最优化问题总论当常数取不同的值时，重复上面的讨论，在平面上得到一族曲线——等高线.等高线的形状完全由曲面的形状所决定；反之，由等高线的形状也可以推测出曲面的形状．一最优化问题总论例1.5在坐标平面上画出目标函数的等高线．解:因为当取时，曲线表示是以原点为圆心，半径为的圆．因此等高线是一族以原点为圆心的同心圆（如图所示）一最优化问题总论　例1.6用图解法求解二维最优化问题解:如图，目标函数的等高线是以　　　为圆心的同心圆，并且这族同心圆的外圈比内圈的目标函数值大．因此，该问题为在约束集中找一点,使其落在半径最小的那个同心圆上。问题的最优解为：　　　　　　　　　一最优化问题总论二、最优化问题的迭代解法（一）迭代方法在经典极值问题中，解析法虽然具有概念简明,计算精确等优点，但因只能适用于简单或特殊问题的寻优,对于复杂的工程实际问题通常无能为力，所以极少使用。最优化问题的迭代算法是指：从某一选定的初始点出发，根据目标函数、约束函数在该点的某些信息，确定本次迭代的一个搜索方向和适当的步长，从而到达一个新点，用式子表示即为(1.2)一最优化问题总论式中,——前一次已取得的迭代点，在开始计算时为迭代初始点；——新的迭代点；——第k次迭代计算的搜索方向；——第k次迭代计算的步长因子．一最优化问题总论按照式（1.2）进行一系列迭代计算所根据的思想是所谓的“爬山法”，就是将寻求函数极小点（无约束或约束极小点）的过程比喻为向“山”的顶峰攀登的过程，始终保持向“高”的方向前进，直至达到“山顶”．当然“山顶”可以理解为目标函数的极大值，也可以理解为极小值，前者称为上升算法，后者称为下降算法．这两种算法都有一个共同的特点，就是每前进一步都应该使目标函数有所改善，同时还要为下一步移动的搜索方向提供有用的信息．如果是下降算法，则序列迭代点的目标函数值必须满足下列关系一最优化问题总论　　　　　　　如果是求一个约束的极小点，则每一次迭代的新点都应该在约束可行域内，即下图为迭代过程一最优化问题总论（二）收敛速度与计算终止 准则 租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载租赁准则应用指南下载 （1）收敛速度作为一个算法A，能够收敛于问题的最优解当然是必要的，但光能收敛还不够，还必须能以较快的速度收敛，这才是好的算法．定义1.1设由算法A产生的迭代点列在某种“||·||”的意义下收敛于点，即,若存在实数及一个与迭代次数无关的常数使得则算法A产生的迭代点列叫做具有阶收敛速度,或算法A叫做是阶收敛的，特别地:一最优化问题总论①当，迭代点列称为具有线性收敛速度或算法A称为线性收敛的．②当，或时，迭代点列叫做具有超线性收敛速度或称算法A是超线性收敛．③当时，迭代点列叫做具有二阶收敛速度或算法A是二阶收敛的．一般认为，具有超线性收敛或二阶收敛的算法是较快速的算法．一最优化问题总论(2)计算终止准则用迭代方法寻优时，其迭代过程总不能无限制地进行下去，那么什么时候截断这种迭代呢？这就是迭代什么时候终止的问题．从理论上说，当然希望最终迭代点到达理论极小点，或者使最终迭代点与理论极小点之间的距离足够小时才终止迭代．但是这在实际上是办不到的．因为对于一个待求的优化问题，其理论极小点在哪里并不知道．所知道的只是通过迭代计算获得的迭代点列，因此只能从点列所提供的信息来判断是否应该终止迭代．对于无约束优化问题通常采用的迭代终止准则有以下几种：一最优化问题总论①点距准则相邻两迭代点之间的距离已达到充分小，即式中是一个充分小正数，代表计算精度．②函数下降量准则相邻两迭代点的函数值下降量已达到充分小．当时，可用函数绝对下降量准则当时，可用函数相对下降量准则③梯度准则目标函数在迭代点的梯度已达到充分小，即这一准则对于定义域上的凸函数是完全正确的．若是非凸函数，有可能导致误把驻点作为最优点。对于约束优化问题，不同的优化方法有各自的终止准则．一最优化问题总论综上所述，优化算法的基本迭代过程如下：①选定初始点，置．②按照某种规则确定搜索方向．③按某种规则确定使得④计算⑤判定是否满足终止准则．若满足，则打印和,停机；否则置,转②．一最优化问题总论上述算法框图如右图一最优化问题总论就优化机制与行为而分，目前工程中常用的优化算法主要可分为：经典算法、构造型算法、改进型算法、基于系统动态演化的算法和混合型算法等．（1）经典算法．包括线性规划、动态规划、整数规划和分枝定界等运筹学中的传统算法，其算法计算复杂性一般很大，只适于求解小规模问题，在工程中往往不实用．一最优化问题总论（2）构造型算法．用构造的方法快速建立问题的解，通常算法的优化质量差，难以满足工程需要．譬如，调度问题中的典型构造型方法有：Johnson法、Palmer法、Gupta法、CDS法、Daunenbring的快速接近法、NEH法等．（3）改进型算法，或称邻域搜索算法．从任一解出发，对其邻域的不断搜索和当前解的替换来实现优化．根据搜索行为，它又可分为局部搜索法和指导性搜索法．一最优化问题总论（4）基于系统动态演化的算法．将优化过程转化为系统动态的演化过程，基于系统动态的演化来实现优化，如神经网络和混沌搜索等．（5）混合型算法．指上述各算法从结构或操作上相混合而产生的各类算法．优化算法当然还可以从别的角度进行分类，如确定性算法和不确定性算法，局部优化算法和全局优化算法等．一最优化问题总论一、组合优化问题建模归纳而言，最优化问题可分为函数优化问题和组合优化问题两大类。上一节介绍的最优化数学模型属于函数优化问题，该函数优化的对象是一定区间内的连续变量。本节重点介绍组合优化问题，组合优化的对象是解空间中的离散状态．一最优化问题总论组合优化问题是通过对数学方法的研究去寻找离散事件的最优编排、分组、次序或筛选等，所研究的问题涉及信息技术、经济管理、工业工程、交通运输、通信网络等诸多领域，该问题数学模式可表示为其中，为目标函数，为约束函数，X为决策变量，表示有限个点组成的集合．一最优化问题总论例1.90-1背包问题（knapsackproblem）设有一个容积为b的背包，n个体积分别为　　，价值分别为的物品，如何以最大的价值装包?该问题称为0-1背包问题．用数学模型表示为(1.3)其中目标(1.3)欲使包内所装物品的价值最大；(1.4)为包的能力限制；(1.5)表示xi为二进制变量，xi=1表示装第i个物品，xi=0表示不装．一最优化问题总论例1.10旅行商问题(TSP，travelingsalesmanproblem)一个商人欲到个城市推销商品，每两个城市i和j之间的距离为，如何选择一条道路使得商人每个城市走一遍后回到起点且所走路径最短．TSP还可以细分为对称和非对称距离两大类问题．当对任意的I,j时都有,则称该TSP为对称距离TSP，否则称非对称距离TSP．一最优化问题总论对一般的TSP，它的一种数学模型描述一最优化问题总论以上是基于图论的数学模型．式（1.10）中的决策变量表示商人行走的路线包含从城市i到城市路径，表示商人没有选择走这条路．的约束可以减少变量的个数，使得共有个决策变量;目标（1.6）要求距离之和最小;式（1.7）要求商人从城市出来一次;式（1.8）要求商人走入城市只有一次;式（1.7）和式（1.8）表示每个城市经过一次;仅有式（1.7）和式（1.8）的约束无法避免回路的产生，一条回路是由个城市和k条弧组成，式（1.9）约束旅行商在任何一个城市子集中不形成回路，其中|S|表示集合S中元素个数．一最优化问题总论例1.11聚类问题m维空间上的n个模式要求聚类成k类，使得各类本身内的点最相近，即其中为第p类的中心，为第p类中的点数．一最优化问题总论二一维搜索法§搜索区间及其确定方法§对分法§Newton切线法§黄金分割法§抛物线插值法由第一章关于求解最优化问题概述中我们知道，从已知迭代点出发按照基本迭代格式来求解最优化问题，其关键在于如何构造一个搜索方向和确定一个步长使下一迭代点处的目标函数值下降，即现在我们来讨论，当搜索方向已经确定的情况下，如何来确定步长？步长因子的选取有多种方法，如取步长为常数，但这样选取的步长并不最好，如何选取最好步长呢？实际计算通常采用一维搜索来确定最优步长．二一维搜索法对无约束最优化问题当已知迭代点和下降方向时，要确定适当的步长使比有所下降，即相当于对于参量的函数要在区间上选取使即．由于这种从已知点出发，沿某一下降的探索方向来确定步长的问题，实质上是单变量函数关于变量的一维搜索选取问题，故通常叫做一维搜索．二一维搜索法按这种方法确定的步长又称为最优步长,这种方法的优点是:它使目标函数值在搜索方向上下降得最多．今后为了简便起见，我们用记号表示从点出发沿方向对目标函数作直线搜索所得到的极小点是其中l和s分别是Linearsearch(直线搜索)两词的词首,在目标函数已确定的条件下(4.1)等价于如下两式：二一维搜索法下面进一步解释迭代点的空间位置．容易证明，若从出发，沿方向进步一维搜索得极小点则该点处的梯度方向与搜索方向之间应满足事实上，设对求导有令即所以二一维搜索法式（4.2）的几何意义是明显的:从某一点出发沿方向对目标函数作直线搜索,所得到的极小点为式（4.2）指出，梯度必与搜索方向正交.又因为与目标函数过点的等值面正交，所以进一步看到，搜索方向与这个等值面在点处相切（如图所示）．二一维搜索法搜索区间及其确定方法一、搜索区间设一维最优化问题为为了求解问题(4.3),我们引入如下的搜索区间概念．定义4.1若存在闭区间使则称是问题(4.3)的搜索区间．简言之，一个一维最优化问题的搜索区间，就是包含该问题最优解的一个闭区间．通常，在进行一维搜索时，一般要先确定出问题的一个搜索区间，然后再此区间中进行搜索求解．二、加步探索法下面，介绍一个确定问题(4.3)的搜索区间的简单方法．这个方法的思想是：先选定一个初始点或和初始步长然后，沿着轴的正方向探索前进一个步长，得到新点若目标函数在新点处的值是下降了,即则下一步就从新点出发加大步长，再向前探索.若目标函数在新点处的值上升,即则下一步仍以为出发点以原步长开始向轴的负方向同样探索．当达到目标函数上升的点时，就停止探索，这时便得到问题（4.3）的一个搜索区间．这种以加大步长进行探索来寻找探索区间的方法叫加步探索法．搜索区间及其确定方法加步探索法算法的计算步骤：(1)选取初始数据．选取初始点计算给出初始步长加步系数令(2)比较目标函数值．令计算，若转(3)．否则转(4)．(3)加大探索步长,令同时令转(2)．(4)反向探索,若转换探索方向,令转(2);否则,停止迭代,令输出搜索区间及其确定方法加步探索法算法的流程图如图所示在加步探索法中，一般建议若能估计问题（4.3）的最优解的大体位置的话，初始点要尽量取接近于问题（4.3）的最优解.在具体运用上述加步探索法时，有时还要考虑一些细节问题．例如，当探索得到新点处的目标函数值和出发点处相同时，以及初始步长应如何选取等，都需作适当处理．搜索区间及其确定方法三、单谷区间与单谷函数由于以后要介绍的一些维搜索方法，主要适用于问题（4.3）在搜索区间中只有唯一的最优解的情况，为此，我们再给出下面单谷区间与单谷函数概念．定义4.2设闭区间若存在点使得在上严格递减，在上严格递增，则称是函数的单谷区间，是上单谷函数．搜索区间及其确定方法由定义4.2易知，一个区间是某函数的单谷区间意味着，在该区间中函数只有一个“凹谷”（极小值）．例如，左图中的是的单谷区间，也即是上的单谷函数．右图中的不是的单谷区间，即不是上的单谷函数．搜索区间及其确定方法另外，从定义4.2还可知，某区间上的单谷函数在该区间上不一定是连续函数，而凸函数在所给区间上必然是单谷函数（如左图所示）．由定义4.1和定义4.2知，函数的单谷区间总是相应问题（4.3）的一个搜索区间（如左图所示），但反之不然（如右图所示）．搜索区间及其确定方法单谷区间和单谷函数有如下有用的性质：定理4.1设是的单谷区间，任取并且．（1）若有，则是的单谷区间．（2）若有，则是的单谷区间．定理4.1说明，经过函数值的比较可以把单谷区间缩短为一个较小的单谷区间．换句话说利用这个定理可以把搜索区间无限缩小，从而求到极小点.以下介绍的几种一维搜索方法都是利用这个定理通过不断地缩短搜索区间的长度，来求得一维最优化问题的近似最优解．搜索区间及其确定方法一、对分法基本原理求解一维最优化问题一般可先确定它的一个有限搜索区间，把问题化为求解问题，然后通过不断缩短区间的长度，最后求得最优解．对分法设在已获得的搜索区间内具有连续的一阶导数．因为在上可微，故在上连续，由此知在上有最小值．令，总可求得极小点．不妨设在上是单减函数；在上是单增函数．所以时，，故；当时，亦即．对分法的原理如图．对分法二、对分法迭代步骤已知，表达式，终止限．确定初始搜索区间，要求(2)计算的中点．(3)若，则，转(4)；若，则，转(5)；若，则，转(4)．(4)若，则，转(5)；否则转(2)．(5)打印，停机．对分法对分法的计算流程如图所示三、对分法有关说明对分法每次迭代都取区间的中点a.若这点的导数值小于零，说明的根位于右半区间中，因此去掉左半区间；b.若中点导数值大于零，则去掉右半区间；c.若中点导数值正好等于零，则该点就是极小点．因为每次迭代都使原区间缩短一半，所以称为对分法或二分法．对分法Newton切线法一、Newton切线法基本原理设在已获得的搜索区间内具有连续二阶导数，求．因为在上可微，故在上有最小值，令．下面不妨设在区间中经过次迭代已求得方程的一个近似根．过作曲线的切线,其方程是然后用这条切线与横轴交点的横坐标作为根的新的近似（如图）．它可由方程（4.4）在令的解出来，即这就是Newton切线法迭代公式．Newton切线法二、Newton切线法迭代步骤已知，表达式，终止限．确定初始搜索区间，要求选定．计算．若，则，转（3）；否则转（5）．打印，停机．Newton切线法Newton切线法的计算流程如图所示三、Newton切线法有关说明这种方法一旦用好，收敛速度是很高的．如果初始点选得适当，通常经过几次迭代就可以得到满足一般精度要求的结果.但是它也有缺点：第一，需要求二阶导数．如果在多维最优化问题的一维搜索中使用这种方法，就要涉及Hesse矩阵，一般是难于求出的．Newton切线法第二，当曲线在上有较复杂的弯曲时，这种方法也往往失效．如图(a)所示的迭代：结果跳出.迭代或者发散，或者找到的根并不是我们想要的结果．第三，即使曲线比较正常，在中或者上凹或者下凹，初始点的选取也必须适当．在图（b）的情况下，曲线上凹，应选点b作为初始点；而在图（c）的情况下，曲线下凹，应选点a为初始点．否则都可能失败．Newton切线法黄金分割法一、黄金分割法基本原理要介绍黄金分割法有必要回顾一下古老的黄金分割问题．所谓黄金分割就是将一线段分为二段的方法．这样分后，要求整段长L与较长段x的比值正好等于较长段x与较短段的比值(如图)于是则解得由此可见长段的长度应为全长的0.618倍，而短段的长度应为全长的0.382倍．因为古代的人们认为按0.618的比率来分割线段是最协调，胜似黄金，故称之为黄金分割．黄金分割法用黄金分割法进行一维搜索，其基本思想是在单谷区间内适当插入两点，由此把区间分为三段，然后再通过比较这两点函数值大小，就可以确定是删去最左段还是最右段，或者同时删去左右两段保留中间段．如此继续下去可将单谷区间无限缩小．黄金分割法二、黄金分割法迭代步骤现在提出一个问题，就在上如何选取二点使得迭代次数最小而区间缩短最快？要解决这个问题，人们想到对区间选二点等价于将区间长度进行黄金分割，也就是将第一个搜索点取在的0.618处，第二个搜索点取成的对称点即的0.382处（如图所示）黄金分割法即要求接着计算与的值，并根据与的值的大小关系分情况讨论：（1）若,说明是好点，于是把区间划掉，保留，则内有一保留点，置新的区间；（2）若，说明是好点，于是应将划掉，保留,则内有保留点,置新的区间．.黄金分割法(3)若则应具体分析,看极小点可能在哪一边再决定取舍，在一般情况下，可同时划掉和仅保留中间的重置新的区间．接下来是在留下的区间内找好点．重复上面的步骤，直到搜索区间小于给定的允许误差为止。这样就得到黄金分割法迭代算法：黄金分割法已知，常数0.382，终止限．(1)确定的初始搜索区间．(2)计算．(3)计算．(4)若,则打印，停机；否则，转(5)．(5)判别是否满足：若满足，则置，然后转(3)；否则，置，然后转(4)．黄金分割法黄金分割法算法流程如图所示．三、黄金分割法有关说明黄金分割法是通过所选试点的函数值而逐步缩短单谷区间来搜索最优点．该方法适用于单谷区间上的任何函数，甚至可以是不连续函数，因此这种算法属于直接法，适用相当广泛．黄金分割法抛物线插值法一、抛物线插值法基本原理考虑一维搜索问题假设其中是定义在区间上的单峰函数．首先用试探法在上找一点，使之满足．通过目标函数曲线上的三个点作它的二次拟合曲线（如图所示）．图4.14抛物线插值法由于上述三个点既是目标函数曲线上的点，又是二次拟合曲线上的点，故有方程组将方程组（4.5）中的消去，得抛物线插值法从方程组（4.6）可解出待定系数对于二次拟合函数，我们很容易求得它的极小值点．令即，从中解出即为二次拟合函数的极小值点．抛物线插值法将式（4.7）与式（4.8）代入式（4.9）得用区间上二次拟合函数的这个极小值点作为目标函数在该区间极小值点的一个估计值．若和已充分接近，即对给定的允许误差使成立时，就可被看作是在区间内近似最优解；否则应缩短区间，按照值保持两头大、中间小的原则构成新的三点，继续上述过程，直至不等式（4.11）成立为止．抛物线插值法二、抛物线插值法迭代步骤下面具体介绍缩短区间,构成新三点的方法．由式（4.10）得到的点,在区间内既可能在点的左侧(即),又可能在的右侧(即).分别对应这两种情形比较和的大小，又有等三种情形，故共有如下六种情况（如图所示）：抛物线插值法抛物线插值法（1）对于图(a)的情况:因,所以相对为说是好点，故划掉区间,保留为新区间，故置保持不变；（2）对于图(b)的情况:因,所以相对来说是好点，故划掉保留为新区间，故置与保持不变；（3）对于图(c)的情况：因所以相对来说是好点，故划掉,保留为新区间，故置保持不变；抛物线插值法（4）对于图(d)的情况:因所以相对来说是好点，故划掉保留故置，与保持不变．（5）对于图(e)的情况：一般同时划掉及仅留中间的，故置（6）对于图(f)的情况：一般同时划掉及，仅留中间的，故置抛物线插值法通过上述讨论,我们可直接给抛物线插值法的迭代流程图.三、抛物线插值法有关说明抛物线插值法是多项式逼近法的一种．所谓多项式逼近，是利用目标函数在若干点的函数值或导数值等信息，构成一个与目标函数相接近的低次插值多项式，用该多项式的最优解作为目标函数的近似最优解．抛物线插值法§习题1．用加步探索法确定一维最优化问题的搜索区间，要求选取．2．用对分法求解已知初始单谷区间，按精度计算．3．用Newton法求解用第１题求得的区间，按精度计算．４．用黄金分割法求解已知初始单谷区间，按精度计算．５．用抛物线插值法求解已知初始单谷区间．§习题三常用无约束最优化方法§3.1最速下降法§3.2Newton法§3.3修正Newton法§3.4共轭方向法§3.5共轭梯度法§3.6变尺度法§3.7坐标轮换法§3.8单纯形法三常用无约束最优化方法本章开始讨论多维无约束最优化问题其中．这个问题的求解是指在中找一点，使得对于任意的都有成立，则点就是问题（3.1）的全局最优点但是，大多数最优化方法只能求到局部最优点，即在中找到一点，使得式（3.2）在的某个领域中成立．这个矛盾对于实际问题一般容易解决．根据问题的实际意义多半可以判定用优化方法求出的局部最优解是否为全局最优解．而在理论上这是个比较复杂的问题，本书不涉及．无约束优化方法是优化技术中极为重要和基本的内容之一．它不仅可以直接用来求解无约束优化问题，而且很多约束优化问题也常将其转化为无约束优化问题，然后用无约束优化方法来求解．另外，有些无约束优化方法只需略加处理，即可用于求解约束优化问题．三常用无约束最优化方法无约束优化理论发展较早，比较成熟，方法也很多，新的方法还在陆续出现．把这些方法归纳起来可以分成两大类：一类是仅用计算函数值所得到的信息来确定搜索方向，通常称它为直接搜索法，简称为直接法，另一类需要计算函数的一阶或二阶导数值所得到的信息来确定搜索方向，这一类方法称为间接法（解析法）．直接法不涉及导数、Hesse矩阵，适应性强，但收敛速度较慢；间接法收敛速度快，但需计算梯度，甚至需要计算Hesse矩阵．一般的 经验 班主任工作经验交流宣传工作经验交流材料优秀班主任经验交流小学课改经验典型材料房地产总经理管理经验 是,在可能求得目标函数导数的情况下还是尽可能使用间接方法；相反,在不可能求得目标函数的导数或根本不存在导数的情况下,当然就应该使用直接法．三常用无约束最优化方法对于问题（3.1）为了求其最优解，按最优化算法的基本思想是从一个给定的初始点出发，通过基本迭代格式，按照特定的算法产生一串点列，如果点列收敛，则该点列的极限点为问题（3.1）的最优解．§3.1最速下降法一、最速下降法基本原理在基本迭代格式中，每次迭代搜索方向取为目标函数的负梯度方向，即，而每次迭代的步长取为最优步长，由此所确定的算法称为最速下降法．§3.1最速下降法为了求解问题（3.1），如图所示，假定我们已经迭代了次获得了第个迭代点．现在从出发，可选择的下降方向很多，一个非常自然的想法是沿最速下降方向（即负梯度方向）进行搜索应该是有利的，至少在邻近的范围内是这样。因此，取搜索方向为.§3.1最速下降法为了使目标函数在搜索方向上获得最多的下降，沿进行一维搜索，由此得到第个迭代点，即，其中步长因子按下式确定也可记为显然,令就可以得到一个点列，其中是初始点,由计算者任意选定.当满足一定的条件时,由式(5.3)所产生的点列必收敛于的极小点．以后为书写方便,记.因此在不发生混淆时，再记．§3.1最速下降法二、最速下降法迭代步骤已知目标函数及其梯度，终止（1）选定初始点,计算置．（2）作直线搜索：；计算（3）用终止准则 检测 工程第三方检测合同工程防雷检测合同植筋拉拔检测方案传感器技术课后答案检测机构通用要求培训 是否满足：若满足，则打印最优解停机；否则，置转(2)．§3.1最速下降法最速下降法算法流程如图所示．N将最速下降法应用于正定二次函数可以推出显式迭代公式.设第次迭代点为我们来求的表达式．对式（5.4）关于求梯度，有因此，现在从出发沿作直线搜索以确定，于是，其中是最优步长因子．§3.1最速下降法又因式(4.2),有再利用(5.5),(5.6),(5.7)可得：或由此解出：代入（5.7）中得到这就是最速下降法用于二次函数的显式迭代公式．§3.1最速下降法§3.1最速下降法例5.1试用最速下降法求函数的极小点.迭代两次，计算各迭代点的函数值，梯度及其模，并验证相邻两个搜索方向是正交的．设初始点为．解:与（5.4）比较，得梯度表达式是由，计算　因为目标函数是二次的，可以使用式(5.8),所以有§3.1最速下降法因为由此说明相邻两个搜索方向是正交的．计算§3.1最速下降法三、最速下降法有关说明最速下降法的优点是算法简单，每次迭代计算量小，占用内存量小，即使从一个不好的初始点出发，往往也能收敛到局部极小点.但它有一个严重缺点就是收敛速度．沿负梯度方向函数值下降很快的廉洁，容易使人们产生一种错觉，认为这一定是最理想的搜索方向，沿该方向搜索时收敛速度应该很快，然而事实证明，梯度法的收敛速度并不快．§3.1最速下降法特别是对于等值线（面）具有狭长深谷形状的函数，收敛速度更慢．其原因是由于每次迭代后下一次搜索方向总是与前一次搜索方向相互垂直，如此继续下去就产生所谓的锯齿现象．即从直观上看，在远离极小点的地方每次迭代可能使目标函数有较大的下降，但是在接近极小点的地方，由于锯齿现象，从而导致每次迭代行进距离缩短，因而收敛速度不快.§3.1最速下降法§3.2Newton法如果目标函数在上具有连续的二阶偏导数，其Hesse矩阵正定并且可以表达成为显式（今后为了简便起见，记，那么可以使用下述的Newton法．这种方法一旦好用，收敛速度是很快的．它是一维搜索Newton切线法的推广．一、Newton法基本原理为寻求收敛速度快的算法，我们考虑在应用基本迭代公式中，每轮迭代在迭代的起始点处用一个适当的二次函数来近似该点处的目标函数，由此用点指向近似二次函数极小点的方向来构造搜索方向(如图所示)．§3.2Newton法下面具体讨论Newton法．设最优化问题为，其中二阶可导，Hesse矩阵正定．不妨设经过次迭代已获点，现将在处展开成二阶泰勒公式，于是有显然是二次函数，特别由题设知还是正定二次函数，所以是凸函数且存在唯一全局极小点．§3.2Newton法为求此极小点，令即可解得亦即对照基本迭代格式易知，式（5.9）中的搜索方向步长因子．§3.2Newton法换句话说从点出发沿搜索方向并取步长即可得的极小点.因此是直指点处近似二次函数的极小点的方向．此时称为从点出发的Newton方向．从初始点开始，每一轮从当前迭代点出发，沿Newton方向并取步长的算法称为Newton法．§3.2Newton法二、Newton法迭代步骤已知目标函数及其梯度Hesse矩阵,终止限(1)选定初始点计算置．(2)计算(3)由方程解出．(4)计算(5)判别终止准则是否满足：若满足，则打印最优解停机；否则置转(2).　　§3.2Newton法Newton法的流程如图所示Y例5.2试用Newton法求的极小点,初始点取为．解:梯度为Hesse矩阵为其逆矩阵为　由迭代公式（5.13）得第1迭代点为　由于此时，停止迭代得　因此，它就是极小点．§3.2Newton法从上述例5.2我们看到，用Newton法求解，只经一轮迭代就得到最优解．这一结果并不是偶然的，因为从Newton方向的构造我们知道，对于正定二次函数，Newon方向就是指向其极小点的方向．因此，用Newton法解目标函数为正定二次函数的无约束最优化问题，只需一次迭代就可得最优解．　§3.2Newton法　对于目标函数是非二次函数的非约束最优化问题，一般地说，用Newton法通过有限轮迭代并不能保证可求得最优解．但由于目标函数在最优解附近能近似于二次函数，因此当先取接近于最优解的初始点使用Newton法求解时，其收敛速度一般是快的．事实上，可以证明在初始点离最优解不远的条件下，Newton法是二次收敛的．但是当初始点选得离最优解太远时，Newton法并不一定是收敛的方法，甚至连其下降性也很难保证．§3.2Newton法三、Newton法有关说明Newton法收敛速度非常快具有二次收敛的优点，但它存在下面四个严重的缺点：（1）尽管每次迭代不会使目标函数上升，但仍不能保证下降．当Hesse矩阵非正定时，Newton法的搜索将会失败．（2）对初始点要求严格．一般要求比较接近或有利于接近极值点，而这在实际计算中是比较难办的．　§3.2Newton法（3）在进行某次迭代时可能求不出搜索方向．由于搜索方向为　若目标函数在点Hesse矩阵为奇异，则求不出，因而不有构成牛顿方向，从而使迭代无法进行．（4）牛顿方向构造困难，计算相当复杂，除了求梯度以外还需计算Hesse矩阵及其逆矩阵，占用机器内存相当大．§3.2Newton法§3.3修正Newton法一、修正Newton法基本原理　为了克服Newton法的缺点，人们保留选Newton方向作为搜索方向，摒弃其步长恒取1，而用一维搜索确定最优步长，由此产生的算法称为修正Newton法（或阻力Newton法）．§3.3修正Newton法二、修正Newton法迭代步骤已知目标函数及其梯度Hesse矩阵终止限（1）选取初始点令（2）求梯度向量．计算，若，停止迭代输出．否则，转（3）．（3）构造Newton方向．计算，取（4）进行一维搜索．求，使得令，转（2）．修正Newton法的流程如图所示．三、修正Newton法有关说明修正Newton法克服了Newton法的缺点．特别是，当迭代点接近于最优解时，此法具有收敛速度快的优点，对初始点的选择要求不严．但是，修正Newton法仍需要计算目标函数的Hesse矩阵和逆矩阵，所以求解的计算量和存贮量均很大.另外，当目标函数的Hesse矩阵在某点处出现奇异时，迭代将无法进行，因此修正Newton法仍有相当的局限性．§3.3修正Newton法§3.4共轭方向法构成各种不同最优化方法，往往取决于如何从基本迭代公式中确定搜索方向在最速下降法中，由于取从而导致搜索路线出现锯齿状，收敛速度降低；而在Newton法中，由于选取收敛速度虽很快，但计算量很大，特别是还要求Hesse矩阵正定，从而导致该算法对初始点选择要求过严．下面我们将给大家介绍一种新的最优化方法，它的计算量小，收敛速度没有Newton法快，但比最速下降法快得多的新算法，称为共轭方向法．一、共轭方向法基本原理首先介绍共轭方向概念及其些性质．定义5.1设是对称矩阵,对于非零向量若有则称与相互共轭或正交的．对于非零向量组若有则称是共轭方向组或正交方向组，也称它们是一组的共轭方向．§3.4共轭方向法在上述定义中若(阶单位矩阵)，则式（5.10）和式（5.11）成为和由此可知，共轭概念是正交概念的推广，共轭方向是正交方向的推广．定理5.1设是正定矩阵，是非零向量．若是一组共轭方向，则它们是线性无关的．§3.4共轭方向法§3.4共轭方向法证明设有一组实数使得依次以左乘上式得到因为是一组的共轭方向，故有又由于A是正定矩阵，所以对于有把以上两式用于式（5.12），便可推知由此证明是线性无关．§3.4共轭方向法考虑以二次函数为目标函数的无约束极小化问题其中是对称正定矩阵有如下定理：定理5.2设是对称正定矩阵，是一组A的共轭方向.对于问题（5.13）,若从任意点出发依次沿进行一维搜索，则至多经过n轮迭代，可得问题（5.13）的最优解．§3.4共轭方向法证明设从点X0出发依次按方向进行一维搜索产生的迭代点是其中最优步长是通过下式来确定．又由和式（5.14）可推知即利用式（5.16）有对上式右乘可得因为是A共轭方向，故得或另外，由式（5.15）可知§3.4共轭方向法因为所以由式（5.18）有由式（5.17）和上式，对于我们得到特别地，当时有由于是一组A的共轭方向,由定理5.1知它们是线性无关的,因而向量可表示为这些向量的线性组合其中是实数§3.4共轭方向法所以由式（5.19）有即有于是得即Xn是f(X)的驻点．又因为A是对称正定，故f(X)是凸函数，因而Xn是问题（5.13）的最优解．这说明，至多经过n次迭代必可求得(5.13)的最优解.§3.4共轭方向法　　　　通常，我们把从任意点出发,依次沿某组共轭方向进行一维搜索的求解最优化问题的方法,叫做共轭方向法．为了直观起见,首先考虑二维情况．现在我们把下降法用于形式为(5.13)的二元二次函数．任选初始点从出发沿某个下降方向作一维搜索得到(如图所示)．§3.4共轭方向法由式（4.2）知　而且向量所在的直线必与某条等值线（椭圆）相切于点．下一次迭代，如果按最速下降法选择负梯度方向为搜索方向，那末将要发生锯齿现象.为了克服这种现象，我们设想，下一次迭代的搜索方向将直指极小点．如果能够选定这样的搜索方向，那么对于二元二次函数只须顺次进行两次直线搜索就可以求到极小点了．下面来讨论这样的方向应该满足什么条件，怎样确定．§3.4共轭方向法因为直接指极小点所以可写成　其中是最优步长因子，显然，当时，对（5.13）求导数，有因为是极小点，所以有将式（5.21）代入此式中，由（5.22）可得等式两边同时左乘并注意到式(5.20)和于是　　§3.4共轭方向法　这就是为使直指极小点所必须满足的条件．显然（5.23）中和是A的共轭向量．由式（5.20），不难给出的表达式．两边同时左乘，有　由此解出代回到式（5.24），得§3.4共轭方向法一般地，在维空间中可以找出个互相共轭的方向，对于元正定二次函数，从任意初始点出发，顺次沿这个共轭方向最多作次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的算法形成的基本思想．§3.4共轭方向法对于元正定二次目标函数，从任意初始点出发，如果经过有限次迭代就能够求得极小点，那么这种算法称为具有二次终止性．例如Newton法对于二次函数只须经过一次迭代就可以求得极小点，因此是二次终止的；而最速下降法不具有二次终止性；共轭方向法（包括共轭梯度法，变尺度法等）是二次终止的．一般来说，具有二次终止性的算法，在用于一般函数时，收敛速度较快．§3.4共轭方向法二、共轭方向法迭代步骤已知具有正定矩阵A的二次目标函数和终止限．（1）选定初始点X0和具有下降的方向P0,置k=0．（2）作直线搜索（3）判别是否满足：若满足，则打印停机；否则转（4）．（4）提供共轭方向使得（5），转（2）.§3.4共轭方向法共轭方向法的流程如图所示．三、共轭方向法有关说明上述算法针对二次目标函数，但也可用于一般的非二次函数．在求优过程中因舍入误差不能满足时，可取为新的初始点，再重复前面的过程．§3.4共轭方向法§3.5共轭梯度法如果在共轭方向法中初始的共轭向量恰好取为初始点处的负梯度，而以下各共轭方向由第迭代点处的负梯度与已经得到的共轭向量的线性组合来确定，那么就构成了一种具体的共轭方向法.因为每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法．　一、共轭梯度法基本原理设从任意点出发，第一个搜索方向取为处的负梯度方向当搜索得到点后，设以下按　来产生搜索方向．为了使选择使所产生的和是A的共轭，以右乘上式的两边，于是有§3.5共轭梯度法因为要使和是A的共轭,应有故由上式得综上所述，我们可以生成n个方向§3.5共轭梯度法式（5.25）中含有问题（5.13）的目标函数系数阵，这对于目标函数是非二次函数的问题是不方便的．通过简化，一般地我们可以利用目标函数的梯度信息，来产生n个共轭方向　由此得共轭梯度法算法．§3.5共轭梯度法二、共轭梯度法迭代步骤已知目标函数，终止限．（1）选取初始点，给定终止限．（2）求初始梯度．计算，若，停止迭代输出，否则转（3）．（3）构造初始搜索方向.取,令,转（4）．（4）进行一维搜索．求使得令，转（5）．§3.5共轭梯度法（5）求梯度向量．计算，若，停止迭代输出．否则转（6）.（6）检验迭代次数．若，令，转（3），否则，转（7）．（7）构造共轭方向．取转（4）§3.5共轭梯度法共轭梯度法的流程如图所示　例5.3用共轭梯度法求其中选初始点解:显然§3.5共轭梯度法所以新的搜索方向由此，有并且可推知因而得下一迭代点由于停止迭代输出所求得§3.5共轭梯度法例5.3的迭代的路径如图所示．§3.5共轭梯度法三、共轭梯度法有关说明实际上,可以把共轭梯度法看作是最速下降法的一种改进.当令时,就变为最速下降法.共轭梯度法由于不涉及矩阵,仅仅存储向量,因而存储量小,适合于维数较高的优化问题．另外,共轭梯度法不要求精确的直线搜索.但是,不精确的直线搜索可能导致迭代出来的向量不再共轭,从而降低方法的效能.克服的办法是:重设初始点,即把经过次迭代得到的作为初始点重新迭代．§3.5共轭梯度法我们知道Newton法最突出的优点是收敛速度快,在这一点上其它算法无法比拟的.因此,建议凡是Hesse矩阵比较容易求出的问题尽可能使用Newton法求解.然而Newton法还有一个严重缺陷,就是每次迭代都要计算目标函数的Hesse矩阵和它的逆矩阵,当问题的维数n较大时,计算量迅速增加,从而就抵消了Newton法的优点．§3.6变尺度法§3.6变尺度法为此，人们开始寻找一种算法既可以保持Newton法收敛速度快的优点，又可以摆脱关于Hesse矩阵的计算，这就是本节要给大家介绍的变尺度算法．变尺度法是一种非常好的方法．其中DFP算法和BFGS算法，可以说直到目前为止在不用Hesse矩阵的方法中是最好的算法．一、变尺度法基本原理在Newton法中，由基本迭代格式其中令于是有其中是初始点，和分别是目标函数在点的梯度和Hesse矩阵．§3.6变尺度法为了消除这个迭代公式中的Hesse逆矩阵可用某种近似矩阵来替换它，即构造一个矩阵序列去逼近Hesse逆矩阵序列．此时式（5.26）变为事实上,式中无非是确定了第次迭代的搜索方向.为了取得更大的灵活性,我们考虑更一般的迭代公式其中步长因子通过从出发沿作直线搜索来确定§3.6变尺度法式（5.27）是代表很广的一类迭代公式.例如,当（单位矩阵）时，它变为最速下降法的迭代公式．为使确实与近似并且有容易计算的特点，必须对附加某些条件：第一，为保证迭代公式具有下降性质，要求中的每一个矩阵都是对称正定的．理由是，为使搜索方向是下降方向，只要成立即可，即成立．当对称正定时,此式必然成立,从而保证式（5.27）具有下降性质．§3.6变尺度法第二，要求之间的迭代具有简单形式．显然，　是最简单的形式了．其中称为校正矩阵，式（5.28）称为校正公式．第三，必须满足拟Newton条件．§3.6变尺度法所谓拟Newton条件由下面的推导给出．设迭代过程已进行到步，和均已求出，现在推导所必须满足的条件．设目标函数具有连续的二阶偏导数．现在将在处展成二阶泰勒公式:令，于是有即§3.6变尺度法当正定时，当用近似时，由此看出也必须满足换句话说，式（5.29）就是称为近似Newton条件．为了今后书写方便，记于是拟Newton条件可写为§3.6变尺度法二、变尺度法迭代步骤（拟Newton法）已知目标函数及其梯度终止限（1）选定初始点；计算；选定初始矩阵,要求对称正定（例如）;置．（2）计算搜索方向．（3）作直线搜索，计算　§3.6变尺度法（4）判别终止准则是否满足：若满足，则就是所求的极小点，打印，停机；否则转（5）．（5）计算（6）,转（2）．其中校正矩阵可由确定的公式来计算．不同的公式对应不同的拟Newton算法．§3.6变尺度法拟Newton算法的流程如图所示．以下几段将要讨论各种公式的构成以及相应算法．但是不论哪个公式都必须满足拟Newton条件.由式（5.30）和式（5.28）知，必须满足　或由此可见，与，和有关．满足式（5.31）的有无穷多个，因此上述拟Newton算法构成一族算法．下面分别介绍两个常用的公式．§3.6变尺度法（一）DFP算法DFP算法首先是由Davidon（1959年）提出来的，后来，Fletcher和Powell（1963年）对Davidon的方法作了改进，最后才形成DFP算法．D，F，P是这三位学者名字的字头．这种算法是无约束最优化方法最有效的方法之一．§3.6变尺度法1．DFP算法基本原理考虑如下形式的校正公式其中，是待定维向量，，是待定常数．这时校正矩阵是现在来确定:根据拟Newton条件，必须满足（5.31），于是有　　或．§3.6变尺度法满足以上方程的待定向量和有无穷多种取法，下面是其中的一种：注意到和都是数量，不妨取　同时定出将这两式代回（5.32）得这就是DFP校正公式．§3.6变尺度法2．DFP算法迭代步骤在拟Newton算法中,只要把第（5）步改为计算式（5.33）而其它不变，该算法就为DFP算法了．但是由于计算中舍去误差的影响，特别是直线搜索不精确的影响，可能要破坏迭代矩阵的正定性，从而导致算法失效．为保证的正定性，采取以下重置措施：迭代次后，重置初始点和迭代矩阵，即以后重新迭代．§3.6变尺度法已知目标函数及其梯度,问题的维数,终止限(1)选定初始点．计算(2)置(3)作直线搜索计算(4)判别终止准则是否满足:若满足,则打印停机；否则转(5)．(5)若则置转(2);否则,转(6).(6)计算　置转(3).§3.6变尺度法例5.4用DFP算法求取解:当我们取时，DFP法与最速下降法具有相同的第1迭代点，在§5.1中已作了计算§3.6变尺度法以下用DFP法作第二次迭代按DFP算法中的第（6）步计算因为所以§3.6变尺度法搜索方向为从X1出发沿P1进行直线搜索，即由知，所以，由于所以是极小点．§3.6变尺度法（二）BFGS算法　我们再介绍另一个有效和著名的变尺度算法．由于它是Broyden，Fletcher（1970年），Goldfarb（1969年）和Shanno（1970年）共同研究的结果，因而叫做BFGS算法．§3.6变尺度法1．BFGS算法基本原理考虑如下形式的校正公式　　　　　　　　　　　　　　　　　　　　　　　　　　　式中　这时校正矩阵为　§3.6变尺度法式（5.34）中有一个参数，它可以取任何实数，每取一个实数就对应一种拟Newton算法．容易验证，当取时就是DFP校正公式．令就转变为著名的DFGS校正公式§3.6变尺度法2．DFGS算法迭代步骤已知目标函数及其梯度,问题的维数,终止限（1）选取初始点,初始矩阵,给定终止限（2）求初始梯度向量，计算,若，停止迭代输出，否则，转（3）．（3）构造初始BFGS方向，取令转（4）．（4）进行一维搜索，求，使得，令，转（5）．§3.6变尺度法（5）求梯度向量，计算，若，停止迭代输出；否则，转（6）．（6）检验迭代次数，若,令转（3）；否则，转（7）．（7）构造BFGS方向，用BFGS公式　计算，取，令，转（4）．　　　§3.6变尺度法DFGS算法的流程如图所示．三、变尺度法有关说明变尺度法中的二个重要算法DFP算法和BFGS算法，它们的迭代过程相同，区别仅在于校正矩阵　选取不同.对于DFP法，由于一维搜索的不精确和计算误差的积累可能导致某一轮的　奇异，而BFGS法对一维搜索的精度要求不高.并且由它产生的　不易变为奇异矩阵.FGS法比DFP法更具有好的数值稳定性，它比DFP法更具有实用性．§3.6变尺度法§3.7坐标轮换法坐标轮换法属于直接法．它既可用于无约束最优化问题的求解，又可经过适当的处理用于约束最优化问题的求解．一、坐标轮换法基本原理坐标轮换法的基本思想是把含有n个变量的优化问题轮换地转化为单变量（其它变量视为常量）的优化问题．所谓单变量优化问题就是沿某个坐标轴方向进行一维搜索的问题．坐标轮换法的寻优思路是：先选定一个初始点X0作为第一轮搜索的始点，依次沿n个坐标轴方向进行一维搜索，每次只在一个坐标轴方向上改变相应变量的值，其它(n-1)个变量均保持不变．在沿第一个坐标轴方向进行一维搜索得到目标函数值的最小点（或近似最小点）后，再以此点作为始点转到沿第二个坐标轴方向进行一维搜索得到,直到沿第n个坐标轴方向搜索结束得到为一个循环．如果不满足收敛准则,则以作为初始点转入下一轮循环,直到经过次循环,获得满足收敛准则的点,即作为最优点§3.7坐标轮换法对于二维最优化问题，其搜索过程如图所示．§3.7坐标轮换法在坐标轮换法中，沿各个坐标轴方向进行一维搜索时，常选用最优步长因子或加速步长法．加速步长法则是从初始点出发，沿搜索（坐标轴）方向先取一个较小的步长，作前进（或后退）试探．如试探成功（目标函数值有所减小），则按步长序列加大步长（注意每次加大步长都是由初始点算起），直至试探失败（目标函数值比前一次的有所增加）时，则取其前一次的步长作为沿这个坐标轴方向搜索的最优步长，并计算出该方向上的终止点，而后以这个终止点为始点再进行下一坐标轴方向的搜索，并重复上述步骤．如此迭代下去，直到找到最优点．本节只用一维搜索法来确定最优步长．§3.7坐标轮换法二、坐标轮换法迭代步骤取初始点置坐标轴搜索方向：首先沿方向进行一维搜索，求出该方向上目标函数的极值点；再以为初始点沿方向进行一维搜索，得到极值点仿此依次沿进行一维搜索，最终得到极值点．这就完成了第一轮循环的搜索．§3.7坐标轮换法如果能够满足收敛准则，即可停止搜索，以作为输出．否则，继续以为初始点，进行第二轮循环，依次沿进行一维搜索，得到第二循环的极值点如此进行下去，直至最终