Chapter6_极大似然估计

第1章 极大似然估计 极大似然估计是非线性模型中非常重要的一种估计 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 。最小二乘法是极大似然估计在线性模型中的特例。 第1章 似然函数 假设随机变量xt的概率密度函数为 f (xt)，其参数用θ= ((1, (2, …, (k ) 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示，则对于一组固定的参数 θ 来说，xt的每一个值都与一定的概率相联系。即给定参数θ，随机变量xt的概率密度函数为f(xt)。相反若参数 θ 未知，当得到观测值xt后，把概率密度函数看作给定xt的参数 θ 的函数，这即是似然函数。 L(θ | xt ) = f (xt | θ ) 似然函数L(θ | xt ) 与概率密度函数f (xt | θ ) 的表达形式相同。所不同的是在f (xt | θ ) 中参数 θ 是已知的，xt是未知的；而在L(θ | xt) 中xt是已知的观测值，参数 θ是未知的。 对于n个独立的观测值x=(x1, x2, …, xn)，其联合概率密度函数为 其对应的似然函数为： 经常使用的是对数似然函数，即对L(θ| xt )取自然对数： LnL(θ | xt ) =log[f (xt | θ )] 例 1.1正态分布随机变量的似然函数 设一组随机变量xi,（i = 1, 2, …, n）是相互独立的，且服从正态分布N((,(2)。存在N个独立的观测值x=(x1, x2, …, xn)。xi的似然函数为 = 其中，(表示 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 正态分布的概率密度函数， xi的对数似然函数为： 其中， (x1, x2, …, xn)的联合似然函数为 = 例 1.2 泊松分布的对数似然函数 假设每5分钟到达商店的顾客的数目服从Poisson分布，有N个样本观测值(x1, x2, …, xN)。 每个随机变量的概率密度函数，即似然函数为： 其对数似然函数为 由于每个观测值都是独立的，因此这N个观测值的对数似然函数为 例 1.3指数分布随机变量的似然函数 第1章 极大似然估计 第1章 极大似然估计的原理 极大似然估计是指使得似然函数极大化的参数估计方法，即估计那些使得样本(x1, x2, …, xn)）出现的概率最大的参数。 例 1.4正态分布的ML估计 对于n个相互独立的随机变量x=(x1, x2, …, xn)，xi ~ N((,(2)（i = 1, 2, …, n）。 根据前面推导的(x1, x2, …, xn)的联合似然函数： 两个一阶条件分别为 可以求出未知参数的估计量分别为 ， 例 1.5 泊松分布的ML估计。 未知参数(要使得观测到这N个值得概率最大，即令上述对数似然函数对(的偏导数等于0。 ( 例 1.6 指数分布的ML估计。 例 1.7 线性回归模型的ML估计。 设回归模型为y = xβ+ u，ui ( NIID(0, ( 2 )。 由yi ( N(xiβ, ( 2 )，得yi的似然函数是 yi的对数似然函数为 若yi是相互独立的，则( y1, y2, …, yn)的对数似然函数为 极大化似然函数，两个一阶条件为 解上述方程可得 ； 。 另外一种常见的方便推导方法是利用集中对数似然函数（concentrated log-likelihood）。由对数似然函数的第二个一阶条件 可得： 。将其带入对数似然函数便得到了集中对数似然函数 根据一阶条件可得ML估计量。实际上，最大化极大似然函数等价于最小化残差平方和。因此，在误差项服从正态分布的假定下，β的极大似然估计量与LS估计量完全相同。ML方法与LS方法对回归方差的估计量不同，ML估计量是有偏的。但后面将会看到，当误差项服不服从正态分布时，β的ML估计量与LS估计量是不一样的，ML估计量比LS估计量渐进有效。 第1章 ML估计量的统计特征 ML估计方法的盛行在于其估计量的优良的大样本（或渐进）特征。在一定的正则条件下，ML估计量具有如下特征（正则条件及详细证明请参见Greene（2000））。设DGP的真实参数值为θ0，ML估计量为 。 具有如下特征。 1． 一致性： 2． 渐进正态性： ，其中， 3． 渐进有效性： 的方差达到Cramer-Rao下界。 Cramer-Rao下界： 如果yi的概率密度函数满足正则条件，那么，所有一致渐进正态估计量的方差下限为 4． 不变性：如果函数f，如果f连续且连续可微，那么f (θ0)的ML估计量为f( )。 第1章 似然函数的导数矩 对于随机变量yi，其概率密度函数为f(y, ()。在一定的正则条件下，似然函数的导数具有如下特征。 1． ， 都是随机变量的随机抽样。这意味着，如果样本是独立抽样的，那么g i与g j不相关，H i与H j也不相关。 似然函数的一阶导数称为梯度向量（Gradient vector）： 也称为得分向量（score vector）。对于N个观测值、K个参数，则g i为k(1向量。将g i构成的矩阵G = [g1’, g2’, .., gn’]’（N(k）称为梯度向量的贡献矩阵。梯度向量g的每个元素为矩阵G的各列的和。 似然函数的二阶导数称为海赛矩阵（Hessian Matrix）： 对于N个观测值、K个参数，则H为k(k向量。将H i（k(k）称为海塞矩阵的贡献矩阵。海赛矩阵H的每个元素为所有矩阵H i的和。 比如，在线性回归模型中，(包含k个参数，加上标准差(，共k+1个参数。矩阵G的前k列的第i行第j列元素为 最后一列的元素为 2． 3． 第1章 方差矩阵的估计方法 （1） 由渐进公式 ，可以将 带入上式作为 的方差估计量，即信息矩阵的逆， 。 在线性回归模型中， 因此，ML估计量的协方差矩阵为 将(和(的估计量带入可得到方差估计量 。显然， 是不相关的。这表明，对于参数(的推断与(的估计无关；同样地，对于参数(的推断与(的估计无关。 但实践中，非线性模型的二阶导数的形式不容易明确地解出。因此，这种方法用的比较少。 （2） 第二种方法是： ，即直接将 带入二阶导数，而不是求二阶导数的期望。可以证明，这等价于在样本均值点求二阶导数的期望。与第一种方法相类似，这种方法面临着二阶导数求解的难题。 在线性模型中，估计量的方差为： （3） 由导数矩的第三个特征，估计量的协方差矩阵等于一阶导数的协方差矩阵的逆。由一阶导数 ，其方差估计量为： 因此，ML估计量的方差估计量为： 其中， （1×K）， （N×K）。 这种估计量称为BHHH估计量或OPG估计量（outer product of gradients）。这种方法的最大优点是计算方便。 上述三种方法是渐进等价的，但在小样本情况下，三种方法的估计结果可能会出现很大差异，得到不同的统计推断结论。 第1章 拟极大似然估计 如果一个方程设定错误，但ML估计量仍然具有一致性，将这种情形下的ML估计量称之为拟极大似然估计量（QMLE）。 比如，如果线性模型中的误差项服从正态分布，则ML估计等价于OLS估计。我们知道，OLS估计量的一致性与分布没有关系，因此ML估计也具有一致性。即使误差项的真实分布不是正态分布，ML估计仍然具有一致性。这时，我们将ML估计量称为QML估计量。 第1章 三种渐进等价的检验方法 似然比检验（Likelihood Ratio，简写为LR）、沃尔德检验（Wald）和拉格朗日乘子检验（Lagrange Multiplier，简写为LM）是三种被广泛应用的检验。对于原假设H0： ，LR检验、Wald检验和LM检验采用了不同的思路。如下图所示。 图 1.1 LR、LM、Wald检验示意图 1． 似然比检验 令LnLU = LnL( )为无约束时的极大似然函数值，LnLR= LnL( )为带约束的极大似然函数值。令 表无约束的似然函数估计量，令 表示受约束的似然函数估计量。如果原假设H0： 成立，那么LnLU应该近似等于LnLR，即（LnLU – LnLR）应该比较小。如果（LnLU – LnLR）比较高，就要拒绝原假设。LR检验统计量为 如果原假设成立，那么LR~(2(J)。J表示未知参数缩减的个数，即约束条件的个数，也是 中方程的个数。 我们来看似然比统计量的另一种简单的计算方法。在正态分布的线性模型中，无约束模型的集中对数似然函数为 同样地，受约束模型的集中对数似然函数为 因此，似然比统计量又可以写为 2． Wald检验 因为极大似然估计量具有一致性，因此如果原假设成立，那么 应该近似等于q。如果 显著不等于q，就要拒绝原假设。Wald统计量为 如果原假设成立，W~(2(J)，J表示未知参数缩减的个数。 3． 拉格朗日乘子检验 如果 成立，那么 应该距离真实参数θ比较近。而在似然函数在真实参数处的斜率为0，因此原假设成立的时候，似然函数在 处的斜率也应该近似为0。LM检验就是基于受约束的似然函数在 的斜率进行的检验。LM统计量为 如果原假设成立，LM~(2(J)，J表示未知参数缩减的个数。 我们来看LM统计量的另一种简单计算方法。在正态分布的线性模型中，根据一阶条件 及方差估计量 ， ，将受约束模型中的残差项 带入上两式，再将结果代入LM统计量中，可得 其中， 表示受约束模型的残差项 对所有的解释变量进行回归得到的拟合优度。 LM统计量也可以通过公式LM=nRi2进行计算。其中n为样本量，Ri2为用1对似然函数在 处的导数回归得到的拟合优度。 这三种检验是渐进等价的，但在小样本情况下可能得到不同的推断。而三种检验的小样本特征并没有特别的规律。因此，人们一般根据计算上的方便性来选择采用哪一种形式的检验方法。如上所述，LR检验需要同时计算带约束方程的似然函数和不带约束的方程的似然函数。Wald检验只需要计算无约束的似然函数，而LM检验只需要计算带约束的似然函数。 例 1.8 消费模型的ML估计（数据文件：usmacro.dta） 设消费模型为 yt = β0 + β1xt + ut ，假定ut~N(0, (2)，那么yt = N(β0 + β1xt, (2)。 （1） 利用ML方法估计上述模型，并根据得分向量计算协方差矩阵 上述模型的ML估计Stata程序如下（程序文件：mylogl.ado）。 ---------------------------------mylogl.ado-- program define mylogl version 9.2 args lnf b1x sigma tempvar res quietly gen double `res'=$ML_y1-`b1x' quietly replace `lnf' = -ln(`sigma')-0.5*`res'^2/`sigma'^2 end ---------------------------------mylogl.ado-- . ml model lf mylogl (b1: realcons=realdpi) (sigma: ) . ml maximize 得分向量可通过如下命令提取： . ml score sc_* 根据BHHH公式，协方差矩阵可利用得分向量直接计算出来。或者也可以通过technique(bhhh)直接计算出来。 . ml maximize, technique(bhhh) （2） 利用似然比、LM和Wald检验方法分别检验如下约束是否成立： H1：β1 = 0； H2：β1 = 0.7； 似然比检验： . regress realcons realdpi . est store A . regress realcons . regress B . lrtest A B, stats dir LM检验： . regress realcons . predict res, residual . regress res realdpi . scalar lm=e(r2)*e(N) . scalar crit=invchi2tail(2, 0.05) . scalar list lm crit Wald 检验 . test realdpi=0 （3）观察估计量的协方差矩阵 . matrix list e(V) 第1章 非线性回归模型的ML估计 对于一般的回归模型 g(yiθ) = f(xi; β) + ui ， u~N(0, (2) （1） 参数(θ; β)仍然可以通过LS方法估计，即最小化 （2） 但得到的估计量不具有一致性。这种情况下，ML估计是更好的估计方法。 由ui的概率分布可以得到yi的概率密度为 (3) 其中， 表示由ui到yi转换的雅克比矩阵行列式，表示为 显然，当被解释变量为y时， 。 yi的对数似然函数为 (4) 观测值(y1, …, yn)的似然函数为 (5) 其对数似然函数为 (6) 显然，当被解释变量为y时，即当 时， 利用一阶条件极大化上式得到， 由第三个一阶条件可以推出： （7） 将（7）代入（6）式得到集中对数似然函数 (8B) 极大似然函数关于参数是非线性的，利用数值最优化方法进行估计。 例 1.9 利用ML方法估计非线性消费函数（数据文件：usmacro.dta） 例 1.10 利用ML方法估计如下生产函数模型。文件包含产出、资本、劳动力等数据。（数据文件：production） （1） CD生产函数 （2） 广义CD（GCD）生产函数 （3） 不变替代弹性（CES）生产函数 （4） 广义CES生产函数 附录：如果变量x的概率密度函数为f(x)，y=g(x)是x的单调函数，那么y的概率密度函数为： 其中， 称之为由x到y转换的雅克比（Jacobian）。 例：x~ N((, (2)，y=(x-()/(。那么y的概率密度函数可以利用上述公式来求。 由y=(x-()/( ( x= (+(y (即反函数 ) ( 因此，y的概率密度函数为 PAGE 10 _1225522405.unknown _1254490970.unknown _1254501947.unknown _1254502760.unknown _1254503137.unknown _1254503529.unknown _1254503504.unknown _1254502957.unknown _1254502446.unknown _1254502468.unknown _1254502130.unknown _1254501484.unknown _1254501941.unknown _1254491100.unknown _1225906037.unknown _1225908004.unknown _1249924468.unknown _1253284823.unknown _1254490911.unknown _1253530973.unknown _1253041723.unknown _1253042713.unknown _1249924475.unknown _1249908824.unknown _1249923097.unknown _1249923833.unknown _1249923485.unknown _1249922988.unknown _1225909075.unknown _1225909325.unknown _1225908806.unknown _1225907714.unknown _1225907823.unknown _1225906532.unknown _1225524280.unknown _1225904431.unknown _1225905733.unknown _1225902637.unknown _1225902841.unknown _1225902840.unknown _1225902397.unknown _1225524120.unknown _1225524169.unknown _1225522495.unknown _1221975648.unknown _1221977090.unknown _1221977472.unknown _1221978270.unknown _1221978987.unknown _1221979057.unknown _1221979100.unknown _1221979187.unknown _1221979044.unknown _1221978314.unknown _1221978967.unknown _1221978313.unknown _1221977473.unknown _1221977474.unknown _1221977108.unknown _1221977221.unknown _1221977272.unknown _1221977119.unknown _1221976849.unknown _1221976877.unknown _1221976890.unknown _1221977071.unknown _1221976864.unknown _1221975789.unknown _1221975933.unknown _1221975765.unknown _1221975772.unknown _1221975654.unknown _1210787010.unknown _1221975203.unknown _1221975614.unknown _1221975619.unknown _1221975204.unknown _1210787198.unknown _1221975200.unknown _1221975202.unknown _1221975147.unknown _1221975199.unknown _1211342991.unknown _1210787134.unknown _1210671049.unknown _1210671210.unknown _1210786909.unknown _1210786950.unknown _1210673476.unknown _1210747398.unknown _1210748278.unknown _1210671523.unknown _1210671051.unknown _1210671083.unknown _1210671050.unknown _1203678437.unknown _1210670713.unknown _1210671048.unknown _1203681633.unknown _1210670575.unknown _1203681452.unknown _1203670221.unknown _1203670296.unknown _1203670558.unknown _1203670488.unknown _1203670266.unknown _1203669846.unknown