非线性最小二乘法非线性最小二乘法
以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线性
系统的模型为
y＝f(x，θ)
式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数
θ的非线性模型，不包括输入输出变量随时间的变化关系。在估计参数时模型的形式f是已
知的，经过N次实验取得数据(x,y),(x,y)，…,(x，y)。估计参数的准则（或称目标函1121nn
数）选为模型的误差平方和
非线性最小二乘法就是求使Q达到极小的参数估计值孌。
由于 f的非线性，所以不能象线性...
非线性最小二乘法
以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计方法。设非线性
系统的模型为
y＝f(x，θ)
式中y是系统的输出，x是输入，θ是参数（它们可以是向量）。这里的非线性是指对参数
θ的非线性模型，不包括输入输出变量随时间的变化关系。在估计参数时模型的形式f是已
知的，经过N次实验取得数据(x,y),(x,y)，…,(x，y)。估计参数的准则（或称目标函1121nn
数）选为模型的误差平方和
非线性最小二乘法就是求使Q达到极小的参数估计值孌。
由于 f的非线性，所以不能象线性最小二乘法那样用求多元函数极值的办法来得到参
数估计值，而需要采用复杂的优化算法来求解。常用的算法有两类，一类是搜索算法，另一
类是迭代算法。
搜索算法的思路是：按一定的规则选择若干组参数值，分别计算它们的目标函数值并比
较大小；选出使目标函数值最小的参数值，同时舍弃其他的参数值；然后按规则补充新的参
数值，再与原来留下的参数值进行比较，选出使目标函数达到最小的参数值。如此继续进行，
直到选不出更好的参数值为止。以不同的规则选择参数值，即可构成不同的搜索算法。常用
的方法有单纯形搜索法、复合形搜索法、随机搜索法等。
(0)(1)(2) 迭代算法是从参数的某一初始猜测值θ出发，然后产生一系列的参数点θ、θ…，
(N)如果这个参数序列收敛到使目标函数极小的参数点孌，那么对充分大的N就可用θ 作为孌。迭代算法的一般步骤是：
(0) ? 给出初始猜测值θ，并置迭代步数i＝1。
(i) ? 确定一个向量v作为第i步的迭代方向。
(i)(i)(i)(i)i-1 ? 用寻优的方法决定一个标量步长ρ，使得 Q(θ)＜Q(θ)，其中θ＝θ+(i)(i)ρv。
? 检查停机规则是否满足，如果不满足,则将加1再从?开始重复；如果满足，则i
(i)取θ为孌。
典型的迭代算法有牛顿－拉夫森法、高斯迭代算法、麦夸特算法、变尺度法等。
非线性最小二乘法除可直接用于估计静态非线性模型的参数外，在时间序列建模、连续动态模型的参数估计中，也往往遇到求解非线性最小二乘问题。
本文档为【非线性最小二乘法】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483