3 多元回归模型

null第三章 经典单方程计量经济学模型：多元线性回归模型 Multiple Linear Regression Model第三章 经典单方程计量经济学模型：多元线性回归模型 Multiple Linear Regression Model本章 内容 财务内部控制制度的内容财务内部控制制度的内容人员招聘与配置的内容项目成本控制的内容消防安全演练内容 本章内容 多元线性回归模型概述 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 可化为线性的非线性模型 受约束回归§3.1 多元线性回归模型概述 (Regression Analysis)§3.1 多元线性回归模型概述 (Regression Analysis)一、多元线性回归模型 二、多元线性回归模型的基本假设一、多元线性回归模型 一、多元线性回归模型 总体回归模型总体回归模型i=1,2…,n 总体回归模型：总体回归函数的随机 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 达形式k为解释变量的数目。习惯上，把常数项看成为虚变量的系数，该虚变量的样本观测值始终取1。于是，模型中解释变量的数目为（k+1）。 j称为回归参数（regression coefficient）。null总体回归函数：描述在给定解释变量Xi条件下被解释变量Yi的条件均值。j也被称为偏回归系数(partial regression coefficients)，表示在其他解释变量保持不变的情况下，Xj每变化1个单位时，Y的均值E(Y)的变化。 或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（不含其他变量）影响。总体回归函数总体回归模型的矩阵表示总体回归模型的矩阵表示样本回归函数与样本回归模型样本回归函数与样本回归模型从一次抽样中获得的总体回归函数的近似，称为样本回归函数（sample regression function）。 样本回归函数的随机形式，称为样本回归模型（sample regression model）。 样本回归函数的矩阵表示样本回归函数的矩阵表示二、多元线性回归模型的基本假设 二、多元线性回归模型的基本假设 1、关于模型关系的假设1、关于模型关系的假设模型设定正确假设。The regression model is correctly specified. 线性回归假设。The regression model is linear in the parameters。 注意：“linear in the parameters”的含义是什么？2、关于解释变量的假设2、关于解释变量的假设确定性假设。X values are fixed in repeated sampling. More technically, X is assumed to be nonstochastic. 注意：“in repeated sampling”的含义是什么？ 与随机项不相关假设。The covariances between Xi and μi are zero. 由确定性假设可以推断。null观测值变化假设。X values in a given sample must not all be the same. 无完全共线性假设。There is no perfect multicollinearity among the explanatory variables. 适用于多元线性回归模型。 样本方差假设。随着样本容量的无限增加，解释变量X的样本方差趋于一有限常数。时间序列数据作样本时间适用3、关于随机项的假设3、关于随机项的假设0均值假设。The conditional mean value of μi is zero. 同方差假设。The conditional variances of μi are identical.(Homoscedasticity)由模型设定正确假设推断。是否满足需要检验。null序列不相关假设。The correlation between any two μi and μj is zero. 是否满足需要检验。4、随机项的正态性假设4、随机项的正态性假设在采用OLS进行参数估计时，不需要正态性假设。在利用参数估计量进行统计推断时，需要假设随机项的概率分布。 一般假设随机项服从正态分布。可以利用中心极限定理（central limit theorem, CLT）进行证明。 正态性假设。The μ’s follow the normal distribution. 5、CLRM 和 CNLRM5、CLRM 和 CNLRM以上假设（正态性假设除外）也称为线性回归模型的经典假设或高斯（Gauss）假设，满足该假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM）。 同时满足正态性假设的线性回归模型，称为经典正态线性回归模型（Classical Normal Linear Regression Model, CNLRM）。null上述假设的矩阵符号表示 式： 解释变量的假设，n(k+1)矩阵X是非随机的，且X的秩=k+1，即X满秩。 0均值同方差不序列相关假设， null假设4，向量 有一多维正态分布，即 解释变量与随机误差不相关假设，E(X’)=0，即 null 其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵 或 有界假设，样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n∞时， §3.2 多元线性回归模型的估计 §3.2 多元线性回归模型的估计 一、普通最小二乘估计 二、最大或然估计 三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例 说 明说 明估计方法： 3大类方法：OLS、ML或者MM 在经典模型中多应用OLS 在非经典模型中多应用ML或者MM一、普通最小二乘估计(OLS)一、普通最小二乘估计(OLS)1、普通最小二乘估计1、普通最小二乘估计最小二乘原理：根据被解释变量的所有观测值与估计值之差的平方和最小的原则求得参数估计量。 null已知假定 步骤：nullnull正规方程组的矩阵形式条件？ 补充：矩阵微分 补充：矩阵微分如果 是一数值行向量而 是变量 的一个列向量，则 null考虑如下矩阵 ： 那么有两个结果： （1）列向量 （2）行向量 null OLS估计的矩阵表示 null2、正规方程组的另一种表达null3、随机误差项的方差的无偏估计 M为等幂对称矩阵null二、最大似然估计二、最大似然估计似然函数 似然函数 4、ML估计量4、ML估计量由对数似然函数求极大，得到参数估计量结果与参数的OLS估计相同null分布参数估计结果与OLS不同null注意： ML估计必须已知Y的分布。 只有在正态分布时ML和OLS的结构参数估计结果相同。 如果Y不服从正态分布，不能采用OLS。例如：选择性样本模型、计数数据模型等。三、矩估计 Moment Method, MM三、矩估计 Moment Method, MM1、参数的矩估计1、参数的矩估计参数的矩估计就是用样本矩去估计总体矩。 用样本的一阶原点矩作为期望的估计量。 用样本的二阶中心矩作为方差的估计量。 从样本观测值计算样本一阶（原点）矩和二阶（原点）矩，然后去估计总体一阶矩和总体二阶矩，再进一步计算总体参数（期望和方差）的估计量。 null样本的一阶矩和二阶矩 总体一阶矩和总体二阶矩的估计量 总体参数（期望和方差）的估计量 2、多元线性计量经济学模型的矩估计 2、多元线性计量经济学模型的矩估计 如果模型的设定是正确，则存在一些为0的条件矩。矩估计的基本思想是利用矩条件估计模型参数。一组矩条件，等同于OLS估计的正规方程组。四、参数估计量的性质四、参数估计量的性质说明说明在满足基本假设的情况下，多元线性模型结构参数的普通最小二乘估计、最大或然估计及矩估计具有线性性、无偏性、有效性。 同时，随着样本容量增加，参数估计量具有渐近无偏性、渐近有效性、一致性。 利用矩阵表达可以很方便地证明,注意证明过程中利用的基本假设。1、无偏性1、无偏性这里利用了假设: E(X’)=02、有效性（最小方差性）2、有效性（最小方差性）nullnull五、样本容量问题五、样本容量问题1、最小样本容量1、最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即 n  k+1为什么？null2、满足基本要求的样本容量 从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定。 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明。六、例题六、例题地区城镇居民消费模型地区城镇居民消费模型被解释变量：地区城镇居民人均消费Y 解释变量： 地区城镇居民人均可支配收入X1 前一年地区城镇居民人均消费X2 样本：2006年，31个地区数据数据变量间关系变量间关系变量间关系变量间关系OLS估计OLS估计OLS估计结果OLS估计结果ML估计ML估计ML估计结果ML估计结果MM估计MM估计MM估计结果MM估计结果§3.3 多元线性回归模型的统计检验 Statistical Test of Multiple Linear Regression Model §3.3 多元线性回归模型的统计检验 Statistical Test of Multiple Linear Regression Model 一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间 一、拟合优度检验 Goodness of Fit一、拟合优度检验 Goodness of Fit1、概念1、概念拟合优度检验：对样本回归直线与样本观测值之间拟合程度的检验。 问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？ 如何检验：构造统计量 统计量只能是相对量2、可决系数与调整的可决系数2、可决系数与调整的可决系数 总离差平方和的分解证明： 该项等于0null 可决系数（ Coefficient of Determination ）该统计量越接近于1，模型的拟合优度越高。 从R2的表达式中发现，如果在模型中增加解释变量， R2往往增大。 这就给人一个错觉：要使得模型拟合得好，只要增加解释变量即可。 但是，由增加解释变量引起的R2的增大与拟合好坏无关，所以R2需调整。null 调整的可决系数（adjusted coefficient of determination） 其中：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。调整的可决系数多大才是合适的？ 3、赤池信息准则和施瓦茨准则 3、赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有: 赤池信息准则（Akaike information criterion, AIC）施瓦茨准则（Schwarz criterion，SC） 这两准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。 地区城镇居民消费模型（k=2）地区城镇居民消费模型（k=2）地区城镇居民消费模型（k=1）地区城镇居民消费模型（k=1）与k=2比较，变化不大二、方程的显著性检验(F检验) Testing the Overall Significance of a Multiple Regression (the F test)二、方程的显著性检验(F检验) Testing the Overall Significance of a Multiple Regression (the F test)1、方程显著性的F检验1、方程显著性的F检验 方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。 在多元模型中，即检验模型中的参数j是否显著不为0。null F检验的思想来自于总离差平方和的分解式 TSS=ESS+RSS 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。 因此,可通过该比值的大小对总体线性关系进行推断。null 在原假设H0成立的条件下，统计量 给定显著性水平，可得到临界值F(k,n-k-1)，由样本求出统计量F的数值，通过 F F(k,n-k-1) 或 FF(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上的线性关系是否显著成立。 地区城镇居民消费模型地区城镇居民消费模型拒绝0假设，犯错误的概率为0 2、关于拟合优度检验与方程显著性检验关系的讨论 2、关于拟合优度检验与方程显著性检验关系的讨论 null 对于一般的实际问题，在5%的显著性水平下，F统计量的临界值所对应的R2的水平是较低的。所以，不宜过分注重R2值，应注重模型的经济意义；在进行总体显著性检验时，显著性水平应该控制在5%以内。三、变量的显著性检验（t检验） Testing the Significance of Variables (the t test)三、变量的显著性检验（t检验） Testing the Significance of Variables (the t test)null方程的总体线性关系显著不等于每个解释变量对被解释变量的影响都是显著的。 必须对每个解释变量进行显著性检验，以决定是否作为解释变量被保留在模型中。 这一检验是由对变量的 t 检验完成的。null1、t统计量 以cii表示矩阵(X’X)-1 主对角线上的第i个元素null2、t检验 设计原假设与备择假设： H1：i0 给定显著性水平，可得到临界值t/2(n-k-1)，由样本求出统计量t的数值，通过 |t| t/2(n-k-1) 或 |t|t/2(n-k-1) 判断拒绝或不拒绝原假设H0，从而判定对应的解释变量是否应包括在模型中。 H0：i=0 （i=1,2…k） 地区城镇居民消费模型地区城镇居民消费模型3、关于常数项的显著性检验3、关于常数项的显著性检验T检验同样可以进行。 一般不以t检验决定常数项是否保留在模型中，而是从经济意义方面分析回归线是否应该通过原点。四、参数的置信区间 Confidence Interval of Parameter四、参数的置信区间 Confidence Interval of Parameter1、参数的置信区间1、参数的置信区间在(1-)的置信水平下null2、如何才能缩小置信区间？ 增大样本容量n，因为在同样的样本容量下，n越大，t分布表中的临界值越小，同时，增大样本容量，还可使样本参数估计量的标准差减小。 提高模型的拟合优度，因为样本参数估计量的标准差与残差平方和呈正比，模型优度越高，残差平方和应越小。 提高样本观测值的分散度,一般情况下，样本观测值越分散，(X’X)-1的分母的|X’X|的值越大，致使区间缩小。 §3.4 多元线性回归模型的预测 §3.4 多元线性回归模型的预测 一、E(Y0)的置信区间 二、Y0的置信区间一、E(Y0)的置信区间一、E(Y0)的置信区间null于是，得到(1-)的置信水平下E(Y0)的置信区间：其中，t/2为(1-)的置信水平下的临界值。二、Y0的置信区间二、Y0的置信区间null如何根据置信区间正确地陈述预测结果？§3.5 回归模型的其他函数形式 §3.5 回归模型的其他函数形式 一、模型的类型与变换 二、非线性回归实例 三、非线性最小二乘估计 说 明说 明在实际经济活动中，经济变量的关系是复杂的，直接表现为线性关系的情况并不多见。 如著名的恩格尔曲线(Engle curves)表现为幂函数曲线形式、宏观经济学中的菲利普斯曲线（Pillips cuves）表现为双曲线形式等。 但是，大部分非线性关系又可以通过一些简单的 数学 数学高考答题卡模板高考数学答题卡模板三年级数学混合运算测试卷数学作业设计案例新人教版八年级上数学教学计划 处理，使之化为数学上的线性关系，从而可以运用线性回归模型的理论方法。null一、模型的类型与变换 1、倒数模型、多项式模型与变量的直接置换法 例如，描述税收与税率关系的拉弗曲线：抛物线 s = a + b r + c r2 c<0 s：税收； r：税率设X1 = r，X2 = r2， 则原方程变换为 s = a + b X1 + c X2 c<0 null2、幂函数模型、指数函数模型与对数变换法 例如，Cobb-Dauglas生产函数：幂函数 Q = AKL Q：产出量，K：投入的资本；L：投入的劳动 方程两边取对数： ln Q = ln A +  ln K +  ln Lnull3、复杂函数模型与级数展开法 方程两边取对数后，得到： (1+2=1) Q:产出量，K：资本投入，L：劳动投入 ：替代参数， 1、2：分配参数例如，常替代弹性CES生产函数 将式中ln(1K- + 2L-)在=0处展开泰勒级数,取关于的线性项，即得到一个线性近似式。 如取0阶、1阶、2阶项，可得 二、可化为线性的非线性回归实例 二、可化为线性的非线性回归实例 例3.5.1 建立中国城镇居民食品消费需求函数模型。 根据需求理论，居民对食品的消费需求函数大致为 Q:居民对食品的需求量，X：消费者的消费支出总额 P1：食品价格指数，P0：居民消费价格总指数。 零阶齐次性，当所有商品价格和消费者货币支出总额按同一比例变动时，需求量保持不变 (*)(**)为了进行比较，将同时估计（*）式与（**）式。 null 根据恩格尔定律，居民对食品的消费支出与居民的总支出间呈幂函数的变化关系: 首先,确定具体的函数形式对数变换: 考虑到零阶齐次性时(***)(****)(****)式也可看成是对（***）式施加如下约束而得因此，对（****）式进行回归，就意味着原需求函数满足零阶齐次性条件。nullX：人均消费 X1：人均食品消费 GP：居民消费价格指数 FP：居民食品消费价格指数 Q：人均食品消费（2000年价） P0：居民消费价格缩减指数（2000=100） P1：居民食品消费价格缩减指数（2000=100）null按（***）式估计具体解释估计结果及其经济含义。null按（****）式估计具体解释估计结果及其经济含义。三、非线性最小二乘估计三、非线性最小二乘估计⒈ 普通最小二乘原理 ⒈ 普通最小二乘原理 残差平方和 取极小值的一阶条件 如何求解非线性方程？ ⒉ 高斯－牛顿(Gauss-Newton)迭代法 ⒉ 高斯－牛顿(Gauss-Newton)迭代法 高斯－牛顿迭代法的原理 对原始模型展开泰勒级数，取一阶近似值null 构造并估计线性伪模型构造线性模型估计得到参数的第1次迭代值迭代null高斯－牛顿迭代法的步骤⒊ 牛顿－拉夫森(Newton-Raphson)迭代法 ⒊ 牛顿－拉夫森(Newton-Raphson)迭代法 牛顿－拉夫森迭代法的原理 对残差平方和展开台劳级数，取二阶近似值； 对残差平方和的近似值求极值； 迭代。 与高斯－牛顿迭代法的区别 直接对残差平方和展开台劳级数，而不是对其中的原模型展开； 取二阶近似值，而不是取一阶近似值。⒋应用中的一个困难⒋应用中的一个困难如何保证迭代所逼近的是总体极小值（即最小值）而不是局部极小值？ 一般方法是模拟试验：随机产生初始值→估计→改变初始值→再估计→反复试验，设定收敛标准（例如100次连续估计结果相同）→直到收敛。⒌非线性普通最小二乘法在软件中的实现⒌非线性普通最小二乘法在软件中的实现给定初值 写出模型 估计模型 改变初值 反复估计⒍例题⒍例题例3.5.1 建立中国城镇居民食品消费需求函数模型。线性估计null线性估计讨论讨论一般情况下，线性化估计和非线性估计结果差异不大。如果差异较大，在确认非线性估计结果为总体最小时，应该怀疑和检验线性模型。 非线性估计确实存在局部极小问题。 根据参数的经济意义和数值范围选取迭代初值。 NLS估计的异方差和序列相关问题。 NLS不能直接处理。 应用最大似然估计。§3.6 受约束回归 Restricted Regression§3.6 受约束回归 Restricted Regression 一、模型参数的线性约束 二、对回归模型增加或减少解释变量 三、参数的稳定性说 明说 明在建立回归模型时，有时根据经济理论需要对模型中的参数施加一定的约束条件。例如： 需求函数的0阶齐次性条件 生产函数的1阶齐次性条件 模型施加约束条件后进行回归，称为受约束回归（restricted regression）; 未加任何约束的回归称为无约束回归（unrestricted regression）。一、模型参数的线性约束一、模型参数的线性约束1、参数的线性约束1、参数的线性约束2、参数线性约束检验2、参数线性约束检验对所考查的具体问题施加的约束是否成立？需进一步进行相应的检验。常用的检验有：F检验、x2检验与t检验。 F检验 构造统计量； 检验施加约束后模型的解释能力是否发生显著变化。null 受约束样本回归模型的残差平方和RSSR大于无约束样本回归模型的残差平方和RSSU。这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。null如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，RSSR 与 RSSU的差异较小。 可用（RSSR －RSSU）的大小来检验约束的真实性。null 例3.6.1 中国城镇居民对食品的人均消费需求实例中，对零阶齐次性检验： 取=5%，查得临界值F0.05(1,18)=4.41 结论：不能拒绝中国城镇居民对食品的人均消费需求函数具有零阶齐次特性这一假设。 无约束回归:RSSU=0.017748， kU=3 受约束回归:RSSR=0.017787， KR=2 样本容量n=22， 约束条件个数kU - kR=3-2=1二、对回归模型增加或减少解释变量二、对回归模型增加或减少解释变量null前者可以被看成是后者的受约束回归，通过约束检验决定是否增加变量。H0：三、参数的稳定性三、参数的稳定性1、邹氏参数稳定性检验1、邹氏参数稳定性检验为了检验模型在两个连续的时间序列（1,2,…，n1）与（n1+1,…，n1+n2）中是否稳定，可以将它转变为在合并时间序列( 1,2,…，n1 ，n1+1,…，n1+n2 )中模型的约束检验问题。（1,2,…，n1）（n1+1,…，n1+n2）null 合并两个时间序列为( 1,2,…，n1 ，n1+1,…，n1+n2 )，则可写出如下无约束回归模型 如果=，表示没有发生结构变化，因此可针对如下假设进行检验：H0: =施加上述约束后变换为受约束回归模型：null检验的F统计量为：null参数稳定性的检验步骤： 分别以两连续时间序列作为两个样本进行回归，得到相应的残差平方： RSS1与RSS2 将两序列并为一个大样本后进行回归，得到大样本下的残差平方和RSSR 计算F统计量的值，与临界值比较。若F值大于临界值，则拒绝原假设，认为发生了结构变化，参数是非稳定的。 该检验也被称为邹氏参数稳定性检验（Chow test for parameter stability）。null2、邹氏预测检验 如果出现n2F(n2, n1-k-1) ，则拒绝原假设，认为预测期发生了结构变化。 null 例3.6.3 中国城镇居民食品人均消费需求的邹氏检验。 参数稳定性检验1985~1997：RSS1=0.0083 1998~2006：1985~2006: RSS2=0.0008RSSU=0.0178null给定=5%，查表得临界值F0.05(3, 16)=3.24 结论：F值>临界值，拒绝参数稳定的原假设，表明中国城镇居民食品人均消费需求在1998年前后发生了显著变化。 四、非线性约束四、非线性约束说明说明非线性约束检验是建立在最大似然原理基础上的。主要的检验： 最大似然比检验（likelihood ratio test, LR） 沃尔德检验（Wald test, W） 拉格朗日乘数检验（Lagrange multiplier test, LM） 它们的共同特点是：在大样本下，以共同的检验为基础，而自由度就是约束条件的个数。本节不作为教学内容，供有兴趣的同学自学。null