广义矩估计

广义矩估计 一、背景 我们前面学了OLS估计、工具变量估计方法，前面这几种方法都有重要假设就是需要知道分布才能估计，但是往往现实理论我们无法得到关于分布的信息，因此矩估计方法应运而生。矩估计方法的基本思想是利用 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 矩的信息组成方程组来求总体矩，以此得到渐进性质下的一致性估计量。那么在构成方程组求解的过程中涉及识别问题和解决。本章详细介绍矩估计方法。矩估计方法实际应用非常广泛，应注意将矩估计与OLS估计、工具变量估计和极大似然估计方法结合对比进行应用。 二、知识要点 1，应用背景 2，矩估计存在的问题(识别) 3，矩正交方程和矩条件 4，矩估计的属性 三、要点细纲 1、应用背景 其基本思想是:在随机抽样中，样本统计量(在一个严格意义上，一个统计量是观察的n维随机向量即子样的一个(波雷尔可测)X,XXX,,,，，12n 函数，且要求它不包含任何未知参数)将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。即在不知道分布的情况下，利用样本矩构造方程(包含总体的未知参数)，利用这些方程求得总体的未知参数。 基本定义 n1,,统计量 为子样的ν阶矩(ν阶原点矩); mXi,n,i1 n1, ,统计量 为子样的ν阶中心矩。 ,BXX，，i,n,i1 子样矩的均值与方差 2222,,,;,,,,EXVarXEXEX，，，，，， kk,，，EXEX,,,kk 我们用到时假定它是存在的。 ,,或kk 基本做法 的可能分布族为，其中属于参数空间的设:母体XFx,,,,,,Θ，，,, 是待估计的未知参数。假定母体分布的k阶矩存在，则母体,,,,,,,,，，12k 分布的ν阶矩 ,, ,,,,1xdFxk,,,,,,,,,，，，，,,12k,, 是的函数。 ,,,,,,,,，，12k 对于子样，其ν阶子样矩是 X,XXX,,,，，n12 n1,,,, mXk,1,,,in,i1 现在用子样矩作为母体矩的估计，即令: n1,,,, (1) ,,,1,2,,mXk,,,,,,，，,,i12kn,i1 (1)式确定了包含k个未知参数的k个方程式。求解(1),,,,,,,,，，12k式就可以得到的一组解。因为是随,,,,,,,,,,,,,？,,,m，，，，,12k12k机变量，故解得的也是随机变量。将,,,,,,？分别作为,,,,,,的估,12k12k 计称为矩方法的估计，这种求估计量的方法称为矩方法。 2、矩估计存在的问题(识别) 当我们选择的样本矩方程多于、等于或少于我们所要估计的参数时，是否 存在唯一解,如果无解，我们应该采用什么技术进行处理, TT设 为模型向量，z 为工具变量。考虑 R 个矩条件 wyx,,，，tttt Efwz,,0,,，，，，tt 这里 θ 是 向量，是R 维向量函数。考虑相应的样本矩条件:K，1f，， T1 ,. ,,,,gfwz,,0，，，，Ttt,t1T 什么时候可以利用R 个样本矩条件估计K 个参数, (1) R < K: 不存在唯一解，参数不能识别。 g,,0，，T (2) R = K: 存在唯一解，参数正好识别，此时可采用OLS估计g,,0，，T 和IV估计，因此OLS估计和IV估计是GMM估计的特例。 T EzEzyx,,,,,0，，，，，，tttttK，1 (3) R > K这时方程组中方程的个数多于参数的个数，此为过度识别问题， 这时我们对矩条件的权重进行修正，即采用最优GMM估计方法。 T,1考虑GMM的目标函数 ,,,Qg,ySg,y,，，，，，，TTT T 采用平方形式: QgWg,,,,，，，，，，TTTT11， T问题就是最小化: ,,,WgWg,argmin，，，，，，,,GMMTTTT, 如何选择,根据大数定理: . WT,,gEf,,.，，，，，，TT 和中心极限定理: . gEf,,.TgNS,,0,T,,，，，，，，，，，，TT optopt,1方差较小的矩就赋予较小的权重，即 pWWSlim,,TT,, SVarTg,,,TVarg,如不存在自相关，则: ，，，，，，，，TT T,,1 ,TVarfwz,,,，，,,,ttTt,1,, T1T,,,. fwzfwz,,,,,，，，，ttttT,t1 意味着我们选用的最优权重矩阵为: ,1T,,1Topt,1 ,,WSfwzfwz,,,,,,，，，，,,,ttttTTt,1,, 3，矩正交方程和矩条件 本节介绍实际操作中如何建立矩条件方程组。 考虑一个变量，我们不知道分布，但是知道，我们得到总体,,Eyy，，tt 的矩条件: 或者这里。 Ey,,,0fyy,,,,,Efy,0,,，，，，，，，，tttt，， 由于我们不能计算，定义样本矩条件: Efy,,，，，，t，， TT11 (1) ,,,,,,,gfyy,0，，，，，，,,ttTTT,,tt11 根据大数定理，有: gEfy,,,,，，，，，， 对于. (2) t,,t，，T T1T1,那么采用矩估计量，可以证明:。 by,by,,tMMMMtTt,1Tt,1实际操作中采用两阶段GMM估计和迭代GMM估计。 1,两阶段GMM估计 , ,1T选择一个最初的估计权重，WI,或，找到参数的一WWZZ,，，111，，，，，， Topt,1致性估计量:，接着估计最优权重，,,,,argmingWgWS,，，，，TTT11，，，， Topt最后作最优GMM估计:。 ,,,,argmingWg，，，，,,TTGMMT,2,迭代GMM估计 选择一个最初的估计权重，计算矩条件得到的参数函数，再找一,W11，，，， optopt个新的权重，进行迭代运算直到和W收敛。 ,W，，2，，，，4，矩估计的属性 1、矩估计量是一个大样本估计量。 2、当，没有关于分布的假设条件;矩估计量是渐进有效的;很多估T,, 计量可以作为GMM的估计量，应用很广泛;矩估计量是一个非线性的估计量: 。 Efyx,,0,,，，，，tt，， 四、习题 1、阐述矩估计的应用背景。 2、简要阐述矩估计的识别问题。 3、简要阐述两阶段矩估计和迭代矩估计的思想和做法。 4、简要阐述矩估计和OLS估计和IV估计之间的关系。 极大似然估计 一、背景 极大似然估计法(ML)是不同于最小二乘法的另一种参数估计方法，其应用虽然没有最小二乘普遍，但在计量经济学中占有绝对重要的地位，因为极大似然原理比最小二乘原理更本质的揭示了通过样本估计母体参数的内在机理。计量经济学理论的发展更多的是以极大似然估计原理为基础的，一些特殊的计量经济模型只有用极大似然的方法才能进行估计。本部分我们就极大似然估计的基本原理以及性质进行学习。 二、知识要点 1，极大似然函数 2，正则条件与克拉美-劳下界 3，极大似然估计的性质 4，BHHH 三、要点细纲 1、极大似然函数及其估计的基本原理 从总体中经过N次随机抽取得到样本容量为N的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现，各样本的抽取是独立的，因此容易得到样本的联合密度函数。若只知道总体服从某种分布，但不知道其分布的参数，在可供选择的总体中，我们选择使得产生N个样本的联合概率最大的总体。样本观测值联合概率函数就称为似然函数。 设总体的概率密度函数为，其类型是已知的，但含有未知参数，观测f, N 值的联合密度函数为:Lxfx(,)(),,。它就称为样本的似然函xxx,,,,i12N,1i 数，包含有未知参数。 , 极大似然估计的原理就是寻找参数估计量，使得似然函数达到最大，就,,称为极大似然估计量。通过取对数以及一阶条件可以求得该参数估计值。 可以证明对于多元线性回归模型，在古典假设条件成立的条件下，极大似然估计得到的参数估计量与最小二乘估计得到的参数估计量是一样的。 2、正则条件 设是来自于密度函数为的单元(或多元)总体，密度函xxx,,,fx,θ，，，，12n 数遵从下列正则条件: fx,θ，， R1. 对几乎所有的和所有的，关于的前三阶导数是有限的。ln,fx,x,,，，i(这样就确保了某些Taylor级数近似的存在和导数的有限方差); lLn R2. 满足获得一阶二阶导数期望所需的条件; ln,fxθ，，i 3,ln,fxθ，，iR3. 对于所有的取值，小于一个具有有限期望的函数(这点,,,,,,,jkl 使我们能够对Taylor级数进行舍去项数)。 在这些正则条件，我们有下列关于的基本性质: fx,θ，，i 2,ln,fxθ,ln,fxθ，，，，iiD1. , 和 ()是ln,fxθin,1,2,,g,H,，，iiiT,,,,θθ随机变量的全部随机样本; ,,,ln,fxθ，，iD2. ，一阶导数的期望为零; EEg,,0,,,,i,θ,, 2,,,ln,fxθ，，i D3. ，二阶导数矩阵期望的负值等于VarEEgH,,,,,,,,,,iiT,,θθ,, 一阶导数的方差。 了解正则条件，记住D2、D3的性质。 3、克拉美-劳下界 若x的密度函数满足一定的正则条件，参数的一个无偏估计量的方差总是,大于等于 ,1,122,,,,,,，，InL,InL,,,，，,1，，，，,,,, E,IE,,，，,，，,,,,,,，，2,,,,,,,,,,，，，，,,,,,, 这就是克拉美-劳下界，或称为信息矩阵。 ggxxx,,,对g(),的任一无偏估计，， ，，12n 2('())g,，这是无偏估计的方差下界，但不一定是下确界。若,g(),Varg()nI(), 的方差正好达到不等式的右端，则为的最小方差估计。 g(),g(),g(), 4、极大似然估计的性质 若似然函数满足正则条件，极大似然估计量有下列渐进性质: fx,θ，， ˆM1、一致性: plimθθ, 2,1，，,lnLaˆ，，M2、渐进正态:， Nθθ,,,,Iθ，，Iθ,E，，，，,,T，，，，,,θθ，， M3、渐进有效:是渐进有效的，且达到一致估计量的克拉美-劳下界: , ,1,12,,,,，，，，lnLlnlnLL,θ,,,,,,θθ，，，，，，,,,,ˆ，， AsyVarE.θ,,E,,,,,,,,,,,,,TT，，,,θθ,,θθ,,,,,,,,,,，，，，,,,, M4、不变性:若是的ML估计，是连续函数，则的MLc,γ,c,,,，，，，估计是。 c,，， 这四个性质特别是最后两个性质，估计量达到了最小方差，即ML估计量是有效估计量。同时若要估计参数的函数，无需重新估计模型，为估计参数函数提供了便利。但在小样本的条件下，ML估计并不一定是最佳的。 5、BHHH 简单的说它是用来估计最大似然估计量的渐近方差，也就是方差的克拉美-劳下界，是一种依靠计算机的算法，因此此内容只是作为了解。当对数似然函数的二阶微分期望值的形式是已知的，那么可以在处估计MLE的方差。 , ,12,,，，InL,,,1，，…………?1 IE,,，，,，，,,,,，，',,,,,,,，，,, 由于对数似然函数的二阶微分几乎总是复杂的非线性函数，其确切的期望值是未知的，那么可以考虑如下两个可选估计量: (1)计算对数似然函数的二阶微分矩阵而不是其期望值简单得到渐近方差: ,12,,lnL,,,1，，,,，，…………?2 I,,,，，'，，,,,,,,,,, 它的缺点仍然在于计算二阶微分矩阵的复杂性，计算机编程难以实现。 (2)由于在正则条件下我们有性质二阶导数矩阵期望的负值等于一阶导数的方差，因此我们有: ,1,1,1n''，，，，，，，…………?3 IggGG,,,，，,ii,,,,,,，，，，，，i,1 ,ln,fxθ'，，i，，其中，， Gggg,,,,g,ni12，，,, 该估计量就是BHHH估计量或者是OPG估计量。 以上的三个估计量?1?2?3是渐近等价的，以BHHH估计量最为容易计算。但在有限样本下，三个统计量会产生不一样的结果，BHHH估计量会偏大。由于二阶导的期望经常是不知道的，因此在一个不是很大的样本量估计方差时，我们一般采用方法?2，用二阶导矩阵来估计方差。 四、思考题 1、阐述极大似然法的估计思想，并将它与最小二乘估计、GMM估计进行比较。