计量多元回归统计检验

计量多元回归统计检验 ?3.3 多元线性回归模型的统计检验 一、拟合优度检验 1、可决系数与调整的可决系数 2 在一元线性回归模型中，使用可决系数来衡量样本R回归线对样本观测值的拟合程度。在多元线性回归模型中，我们也可用该统计量来衡量样本回归线对样本观测值的拟合程度。 22ˆ记为总离差TSS,(Y,Y)平方和，为回归平方ESS,(Y,Y),,ii 2ˆ和，为剩余平方和，则 RSS,(Y,Y),ii 2TSS,,(Y,Y)i 2ˆˆ ,,((Y,Y)，(Y,Y))iii 22ˆˆˆˆ,,(Y,Y)，2,(Y,Y)(Y,Y)，,(Y,Y)iiiiii 由于 ˆˆˆ (Y,Y)(Y,Y),e(Y,Y) ,,iiii ˆˆˆ ,,e，,eX，？，,eX，Ye ,,,,0i1i1ikikii =0 所以有: 22ˆˆTSS,(Y,Y)，(Y,Y),RSS，ESS ,3.3.1, ,,iii 即总离差平方和可分解为回归平方和与剩余平方和两部分。回归平方和反映了总离差平方和中可由样本回归线解释的部分，它越大，剩余平方和越小， 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 明样本回归线与样本观测值的拟合程度越高。因此，可用回归平方和占总离 58 差平方和的比重来衡量样本回归线对样本观测值的拟合程度: ESSRSS2 R,,1, TSSTSS (3.3.2) 该统计量越接近于1，模型的拟合优度越高。 2在应用过程中发现，如果在模型中增加一个解释变量，R往往增大。这是因为残差平方和往往随着解释变量个数的增加而减少，至少不会增加。这就给人一个错觉:要使得模型拟合得好，只要增加解释变量即可。但是，现实情况往 2往是，由增加解释变量个数引起的的增大与拟合好坏无R 2关，因此在多元回归模型之间比较拟合优度，就不是一个R 适合的指标，必须加以调整。 在样本容量一定的情况下，增加解释变量必定使得自由度减少，所以调整的思路是将残差平方和与总离差平方和分别除以各自的自由度，以剔除变量个数对拟合优度的 2R影响。记为调整的可决系数,adjusted coefficient of determination,，则有 RSS/(n,k,1)2R,1, TSS/(n,1) (3.3.3) ()n,1其中为残差平方和的自由度，为总离差平方和的()nk,,1 自由度。显然，如果增加的解释变量没有解释能力，则对残差平方和RSS的减小没有多大帮助，却增加待估参数的个 59 2数，从而使有较大幅度的下降。 R 调整的可决系数与未经调整的可决系数这间存在如下关系: n,122R,1,(1,R) n,k,1 ,3.3.4, 2在实际应用中，达到多大才算模型通过了检验,没有绝R 对的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 ，要看具体情况而定。模型的拟合优度并不是判断模型质量的唯一标准，有时甚至为了追求模型的经济意义，可以牺牲一点拟合优度。而且，在下一部分中，我们 22将推导出与另一个统计量的关系，那时会对有新的认RR识。 22在例3.2.2中，R=0.9954，比例2.5.1中的R=0.9927大，这应该说是很好的拟合结果了。 *2、赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用的标准还有赤池信息准则,Akaike information criterion, AIC,和施瓦茨准则,Schwarz criterion，SC,,其定义分别为 ,ee2(k，1)AIC,ln， nn ,3.3.5, ,eekAC,ln，lnn nn 60 ,3.3.6, 这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。显然，与调整的可决系数相仿，如果增加的解释变量没有解释能力， ,ee则对残差平方和的减小没有多大帮助，却增加待估参数的个数，这时可能导致AIC或AC的值增加。 在例3.2.2中，Eviews的估计结果显示AIC值与AC值分别为6.68与6.83，分别小于例2.5.1中只包含人均国内生产总值一个解释变量时的相应值7.09与7.19。从这点看，可以说前期人均居民消费应包括在模型中。 二、方程的显著性检验(F检验) 方程的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出推断。 从上面的拟合优度检验中可以看出，拟合优度高，则解释变量对被解释变量的解释程度就高，可以推测模型总体线性关系成立,反之，就不成立。但这只是一个模糊的推测，不能给出一个在统计上严格的结论。这就要求进行方程的显著性检验。方程的显著性检验所应用的方法仍是数理统计学中假设检验。 1、方程显著性的F检验 61 方程显著性的F检验是要检验模型 i=1,2,…,n Y,,，,X，,X，？，,X，,i011i22ikkii 中参数是否显著不为0。按照假设检验的原理与程序，原假设与备择假设分别为 H:,,,,,,,,,000？012k :不全为零 ,Hi1 F检验的思想来自于总离差平方和的分解式: TSS=ESS+RSS 2ˆ由于回归平方和是解释ESS,y变量X的联合体对被解,i 释变量Y的线性作用的结果，考虑比值 22ˆ ESSRSS,ye /,,ii 如果这个比值较大，则X的联合体对Y的解释程度高，可认为总体存在线性关系，反之总体上可能不存在线性关系。因此可通过该比值的大小对总体线性关系进行推断。 根据数理统计学中的知识，在原假设成H立的条件下0，统计量 ESS/kF, RSS/(n,k,1) (3.3.7) 服从自由度为的分布。 (,)knk,,1F Fknk(,),,1, 给定一个显著性水平，可得到一个临界值，,根据样本在求出统计量的数值后，可通过 F Fknk(,),,1Fknk(,),,1 ， 或 FF,,, 62 来拒绝或接受原假设，以判定原方程总体上的线性关系是H0 否显著成立。 对于例3.2.2，计算得到=2057.3，给定一个显著性水平F =0.05，查分布表，得到一个临界值(例中解释变量数目为2,F ，样本容量为22) =3.52 F(2,19)0.05 显然有 ， Fknk(,),,1F, 表明模型的线性关系在95%的臵信水平下显著成立。 2、关于拟合优度检验与方程显著性检验关系的讨论 拟合优度检验和方程显著性检验是从不同原理出发的两类检验，前者是从已经得到估计的模型出发，检验它对样本观测值的拟合程度，后者是从样本观测值出发检验模型总体线性关系的显著性。但是二者又是关联的，模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强。那么，找出两个用作检验标准的统计量之间的数量关系，在实际应用中互为验证，是有实际意义的。 用(3.3.3)和(3.3.7)分别表示的两个统计量之间存在下列关系: n,12R,1, n,k,1，kF (3.3.8) 63 2R/k或: F,2(1,R)/(n,k,1),3.3.9, 222由,3.3.9,可知,与同向变化:当,:时，,,:,越大，RRR 2,值也越大,当,,时，,为无穷大。因此，,检验是所R 2估计回归的总显著性的一个度量，也是的一个显著性检验R 2。亦即，检验原假设，等价于检验RH:,,,,,,,,,000？012k ,:这一虚拟假设。 那么，对于例3.2.2, 给定一个显著性水平=0.05时，查分布,F =3.52，即是说，只要F统计量的值大于表，得到临界值F(2,19)0.05 3.52，模型的线性关系在95%的水平下是显著成立的。将 2该数值代入(3.3.8)，计算得到对应的R为0.1935。如果我们首 2先得到为0R.1935，肯定认为该模型质量不高，殊不知它的总体线性关系的显著性水平达到95%。这样，在应用中不 2R必对过分苛求，重要的是需考察模型的经济关系是否合理。 三、变量的显著性检验,t检验, 对于多元线性回归模型，方程的总体线性关系是显著的，并不能说明每个解释变量对被解释变量的影响都是显著的，必须对每个解释变量进行显著性检验，以决定是否 64 作为解释变量被保留在模型中。如果某个变量对被解释变量的影响并不显著，应该将它剔除，以建立更为简单的模型。变量显著性检验中应用最为普遍的是t检验，在目前使用的计量经济学软件包中，都有关于t统计量的计算结果。 1、t统计量 在上一节中，已经导出了参数估计量的方差为: 2,1ˆ, Cov()()β,,XX ,1以表示矩阵 主对角线上的第i个元素，于是参数估c()XX,ii ,计量的方差为: ,i 2ˆ Var(),c,,iii 2,其中为随机误差项的方差，在实际计算时，用它的估计 2ˆ,量代替。这样，当模型参数估计完成后，就可以计算每个参数估计量的方差值。 ,因为服从如下正态分布 ,i 2,N(,,,c) , ,iiii 因此，可构造如下t统计量 ˆˆ,,,,,,iiiit, , tnk(),,1s,eeˆ,iciin,k,1 (3.3.10) 该统计量即为用于变量显著性检验的统计量。 t 2、检验 t 在变量显著性检验中 设计 领导形象设计圆作业设计ao工艺污水处理厂设计附属工程施工组织设计清扫机器人结构设计 的原假设与备择假设为: 65 ,i=1,2…k, H:,,00i 不是所有的 ,,0H:i1 tnk(),,1 给定一个显著性水平，得到一个临界值,于是可,,2根据 tnk(),,1tnk(),,1tt ， 或 ,,,22来拒绝或接受原假设，从而判定对应的解释变量是否应包H0 括在模型中。 需注意的是，在一元线性回归中，t检验与F检验是一致的。 一方面，t检验与F检验都是对相同的原假设:进行检H,,001验,另一方面，两个统计量之间有如下关系: 2222,,2ˆˆˆˆyx,,,,,ii1,,11F,,,, 2222,,22e(n,2)e(n,2)e(n,2)x,,e(n,2)x,,,,iiii,,ii,, 22,,e1,i2,,ˆ ,,,, t12,,,n2x,i,, 在例3.2.2中，已经由应用软件计算出所有的数值，分别t为: t,3.306t,3.630t,2.651 012 给定一个显著性水平,=0.05，查分布表中自由度为19,在t t(19)这个例中=19,的相应临界值，得到=2.093。可(n,k,1),2见，计算的所有值都大于该临界值，所以拒绝原假设。即是t 说，包括常数项在内的3个解释变量都在95%的水平下显著，都通过了变量显著性检验。 66 经常遇到一些实际问题，各个变量的值相差较大，有t 的在很高的显著性水平下显著，有的则在不太高的显著性水平下显著，是否都认为通过显著性检验,没有绝对的显著性水平。关键仍然是考察变量在经济关系上是否对解释变量有影响，显著性检验起到验证的作用,同时还要看显著性水平不太高的变量在模型中以及模型应用中的作用，不要简单地剔除变量。 四、参数的臵信区间 参数的假设检验用来判别所考察的解释变量是否对被解释变量有显著的线性性影响，但并未回答在一次抽样中，所估计的参数值离参数的真实值有多“近”。这需要进一步通过对参数的臵信区间的估计来考察。 在变量的显著性检验中已经知道: ,,,,iit, , tnk(),,1s,,i 容易推出:在的臵信水平下的臵信区间是 (1,,),i ,,(,，，，tsts,),, ,,,,ii,,ii22 (3.3.11) t,其中，为分布表中显著性水平为、自由度为的临()nk,,1t,2 界值。 ,在例3.2.2中，如果给定=0.05，查表得: 67 t(n,k,1),t (19)=2.093 ,0.0252 从回归计算中得到: ˆ,,120.70s,36.51,ˆ00 ˆ, ,0.2213s,0.061ˆ1,1 ˆ,,0.4515s,0.170ˆ2,2 根据(2.5.1)计算得到、、的臵信区间分别为 ,,,012 (44.284, 197.116) (0.0937, 0.3489 ) (0.0951, 0.8080) 显然，参数的臵信区间最小。 ,2 同样地，在实际应用中，我们希望臵信水平越高越好，臵信区间越小越好。如何才能缩小臵信区间,从(3.3.11)式中可看出:,1,增大样本容量n。在同样的臵信水平下，n越大， t临界值越小,同时，增大样本容量，在一般情况下可使减,2 ee,sc,小，因为式中分母的增大是肯定的，分子并不,ii,ink,,1 一定增大。,2,更主要的是提高模型的拟合优度，以减小残差 ee,平方和。设想一种极端情况，如果模型完全拟合样本观测值，残差平方和为0，则臵信区间也为0。,3,提高样本观测值的分散度。在一般情况下，样本观测值越分散，越小。 cii 值得注意的是，臵信水平的高低与臵信区间的大小存在此消彼涨的关系。臵信水平越高，在其它情况不变时，临界 t值越大，臵信区间越大。如果要求缩小臵信区间，在其,2 68 它情况不变时，就必须降低对臵信水平的要求。 69