南开大学—张晓桐\课件\03-多元线性回归模型

第3章多元线性回归模型多元线性回归模型与假定条件最小二乘法（OLS）最小二乘估计量的特性可决系数显著性检验与置信区间预测预测的评价指标建模过程中应注意的问题案例 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 第3章多元线性回归模型3.1多元线性回归模型与假定条件yt=β0+β1xt1+β2xt2+…+βk-xtk+ut当给定一个样本（yt,xt1,xt2,…,xtk）,t=1,2,…,T时,上述模型表示为y1=β0+β1x11+β2x12+…+βk-x1k+u1,经济意义：xtj是yt的重要解释变量y2=β0+β1x21+β2x22+…+βkx2k+u2,代数意义：y与x存在线性关系………..ttj几何意义：yt表示一个多维平面yT=β0+β1xT1+β2xT2+…+βk-xTk+uT⎡y1⎤⎡1x11"x1j"1xk⎤⎡β0⎤⎡u1⎤⎢⎥⎢⎥⎢⎥⎢⎥y1x21"x2j"2xkβu⎢2⎥=⎢⎥⎢1⎥+⎢2⎥""""""⎢#⎥⎢⎥⎢#⎥⎢#⎥⎢⎥⎢⎥⎢⎥⎢⎥y1x"x"xβu⎣T⎦T×1⎣⎢T1TjTk⎦⎥T×(k1+⎣)(k⎦k+1)×1⎣T⎦T×1Y=Xβ+u此时yt与xti已知，βj与ut未知。（第2版教材第49页）（第3版教材第45页）3.1多元线性回归模型与假定条件为保证得到最优估计量，回归模型应满足如下假定条件：⎡0⎤假定（）：⎢⎥1E(u)=0=⎢#⎥⎣⎢0⎦⎥假定（2）：误差项同方差、非自相关1⎡0⎤0⎢⎥220%0Var(u)=E(uˆuˆ')=σI=σ⎢⎥0⎣⎢0⎦⎥1假定（3）：解释变量与误差项相互独立。E(X'u)=0假定（4）：解释变量之间线性无关。rk(X'X)=rk(X)=k+1假定（5）：解释变量是非随机的，且当T→∞时，T–1X'X→Q其中Q是一个有限值的非退化矩阵。（第2版教材第51页）（第3版教材第47页）3.2最小二乘法（OLS）最小二乘(OLS)法的原理是求残差平方和最小。代数上是求极值问题。minS=(Y-Xβˆ)'(Y-Xβˆ)=Y'Y-βˆ'X'Y-Y'Xβˆ+βˆ'X'Xβˆ=Y'Y-2βˆ'X'Y+βˆ'X'Xβˆ因为Y'Xβˆ是一个标量，所以有Y'Xβˆ=βˆ'X'Y。上式的一阶条件为：∂S=-2X'Y+2X'Xβˆ=0∂βˆX'Y=X'Xβˆ因为(X'X)是一个非退化矩阵（假定（5）），所以有ˆ-1β=(X'X)X'Y（第2版教材第55页）（第3版教材第51页）3.2最小二乘法（OLS）βˆ的最小二乘(OLS)估计公式也可以用下面的方式推导。对估计的回归模型Y=Xβˆ+uˆ左乘一个X'，X'Y=X'Xβˆ+X'uˆ根据（最小二乘）估计的回归函数的性质（4），X'uˆ=0有X'Y=X'Xβˆβˆ=(X'X)-1X'Y高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。βˆ具有无偏性，最小方差特性，一致性。求出βˆ，估计的回归模型写为Y=Xβˆ+uˆ=Yˆ+uˆ例题3.1obsYX1X21589562488533637604686705737786985847984918786829108310010885120Y：某商品需求量Yˆ=113.83-8.36X1+0.18X2X1：该商品价格X2：消费者平均收入(4.0)(-3.6)(0.9)（第2版教材第60页）2R=0.88,F=26.4,T=10（第3版教材第54页）3.3最小二乘（OLS）估计量的特性1．βˆ的分布（第2版教材第64页）（第3版教材第58页）E(βˆ)=E[(X'X)-1X'Y]=E[(X'X)-1X'(Xβ+u)]=β+(X'X)-1X'E(u)=βVar(βˆ)=E[(βˆ–β)(βˆ–β)']=E[(X'X)-1X'uu'X(X'X)-1]=E[(X'X)-1X'σ2IX(X'X)-1]=σ2(X'X)-1因为u∼N(0,σ2I)，Y∼N(Xβ,σ2I)，βˆ=(X'X)-1X'Y，βˆ是Y的线性函数，所以ˆ2-1β∼N(β,σ(X'X))。3.3最小二乘（OLS）估计量的特性2.残差的方差s2=σˆ2=uˆ'uˆ/(T–k-1)s2是σ2的无偏估计量，E(s2)=E(σˆ2)=σ2。βˆ的估计的方差协方差矩阵是∧Var(βˆ)=s2(X'X)-1=σˆ2(X'X)-1（第2版教材第62页）（第3版教材第57页）3.4可决系数（R2）1.决系数）多重确定系数（多重可Y=Xβˆ+uˆ=Yˆ+uˆ，STS=SRS+ESSSSRY'Yˆˆ−Ty2R2==SSTYY-′Ty2有0≤R2≤1。R2→1。，拟合优度越好2.调整的多重确定系数SSE/(−T−1k)T−1SST−SSRR2=1-=1−()()SST/(−T1)T−k−1SSTT−1=1-(1−R2)T−k−1（第2版教材第73页）（第3版教材第64页）例题3.1Y：某商品需求量X1：该商品价格X2：消费者平均收入SSRSST−.SSESD.×2(1910−.1SSE−)57892×9−403.1813R2====0.=8831SSTSST.SD.2(×10−1)19.57892×9（第版教材第页）2T−1210−12272R=1−(1−R()=11−0.8831−=)0（第.版教材第8497页）T−k−110−2−1365uˆ′ˆu403.1813（第版教材第页）σˆ==57=.5973263T−k−110−2−1（第3版教材第57页）3.5显著性检验与置信区间F检验与SST=RSS+ESS相对应，自由度T-1也被分解为两部分，（T-1）=(k)+(T-k-1)SSRSSE回归均方定义为MSR=，误差均方定义为MSE=kT−k−1H0:β1=β2=…=βk=0;H1:βj不全为零MSRSSR/()kF==∼F(k,T-k-1)MSESSE/(−T−1k)设检验水平为α，则检验规则是，若F≤Fα(k,T-k-1)，接受H0；若F>Fα(k,T-k-1)，拒绝H0。（第2版教材第74页）（第3版教材第67页）3.5显著性检验与置信区间回归系数的t检验H0：βj0,(=j…,,2,=1k),H1：βj≠0βˆt=j=βˆVar(βˆ)=βˆσˆ(')2XX−1∼t(T-k-1)ˆjj+1jj+1s(βj)判别规则：若⏐t⏐≤tα(T-k-1)接受H0；若⏐t⏐>tα(T-k-1)拒绝H0。（第2版教材第76页）（第3版教材第69页）例题3.1Y：某商品需求量X1：该商品价格X2：消费者平均收入βˆ8.−3553t=1=3=.−64741ˆs(β12).2907(第2版教材75-78页)(第3版教材67-70页)βˆ0.1801=t2=0.=90172ˆs(β02).1997RSS/SSTk(−(SSE)/..SD(k×2(1019−1.SSE)−5789)/229×−403.1813)/2F====26=.45ESS/(−n−1kESS)/(−n−1k.).SD(2×10−1)/197.57892×9/73.5显著性检验与置信区间βi的置信区间（1）全部βi的联合置信区间1ˆˆ2F=(β-β)'(X'X)(β-β)/s∼Fα(k,T-k)kˆˆ2(β-β)'(X'X)(β-β)≤skFα(k,T-k)，是一个k维椭球体。（2）单个βi的置信区间ˆˆβi=βi±sˆtα/2(Τ−k-1)=βi±s(uˆ)Ci+1tα/2(Τ−k-1)(βi)iˆ−1=βi±σˆ()XX′i+1tα/2(Τ−k-1)(第2版教材78页)(第3版教材70页)Y：某商品需求量例题3.1X1：该商品价格X2：消费者平均收入回归系数的联合置信区间单个回归系数的置信区间β1的置信区间上下限：-8.36±2.36×2.29β2的置信区间上下限：(第2版教材78页)0.18±2.36×0.20(第3版教材70页)3.6预测（1）点预测C=(1xT+11xT+12…xT+1k)则T+1期被解释变量yT+1的点预测式，ˆˆˆˆyˆT+1=Cβ=β0+β1xT+11+…+βkxT+1k（2）单个yT+1的置信区间预测yT+1值与点预测值yˆT+1有以下关系yT+1=yˆT+1+uT+1E(yT+1)=E(yˆT+1+uT+1)=Cβ2-12Var(yT+1)=Var(yˆT+1)+Var(uT+1)=σC(X'X)C'+σ=σ2(C(X'X)-1C'+1)2-1yT+1是一个多元正态分布变量,yT+1∼N(Cβ,σC(X'X)C'+1)单个yT+1的置信区间是ˆ−1Cβ±tα/2(T-k-1)CXXCσˆ(')+'1例题3.1Y：某商品需求量X1：该商品价格X2：消费者平均收入obsYYFX1X215848.7295612024856.54853YF105.636366.1576010046876.316708057369.3977868.069887.185846079896.804914087878.4768230.49108106.7831002011108893.6751201168.028.5140样本外1点点预测与区间预测样本内10点与样本外1点预测预测的EViews操作(第2版教材91-98页)(第3版教材74-79页)3.7预测的评价指标(1)预测误差。预测误差定义为et=yˆt-yt,t=T+1,T+2,…是对单点预测误差大小的测量。(2)相对误差PE(PercentageError)。yˆ−yPE=tt,t=T+1,T+2,…yt是对单点预测相对误差大小的测量。(3)误差均方根rmserror(RootMeanSquaredError)1Tˆ2rmserror=∑(yt−yt)Tt=1通过若干个预测值对预测效果进行综合评价。3.7预测的评价指标(4)绝对误差平均MAE(MeanAbsoluteError)1TˆMAE=∑yt−ytTt=1通过若干个预测值对预测的绝对误差进行综合评价。(5)相对误差绝对值平均MAPE(MeanAbsolutePercentageError)1Tyˆ−yMAPE=∑ttTt=1ytMAPE在EViews中是以MAPE×100的形式出现。（6）Theil不等系数（Theilinequalitycoefficent）取值区间[0，1]，等于零时，预测无误差。例题3.1预测评价指标的应用140YF120Forecast:YFActual:Y100Forecastsample:110Includedobservations:1080RootMeanSquaredError6.349656MeanAbsoluteError5.22569060MeanAbs.PercentError7.637698TheilInequalityCoefficient0.03965840BiasProportion0.000000VarianceProportion0.031059CovarianceProportion0.968941201234567891030000250003.8建模过程中应注意2000015000的问题100005000GDPGDP(f)080818283848586878889909192(1)研究经济变量之间的关系要剔除物价变动因素。注意：价格指数应该用定基价格指数。(2)依照经济理论以及对具体经济问题的深入分析初步确定解释变量。例：我国粮食产量=f（耕地面积、农机总动力、施用化肥量、农业人口等）。例：关于食用油消费量模型(3)当引用现成数据时，要注意数据的定义是否与所选定的变量定义相符。例：“农业人口”要区别是“从事农业劳动的人口”还是相对于城市人口的“农业人口”。3.8建模过程中应注意的问题(4)养成看散点图的习惯。中国移动电话用户数（亿户）序列硫酸透明度（y）与铁杂质含量（x）的关系GDP与FDI市场用煤销售量季节性数据（1982:1-1988:4）3.8建模过程中应注意的问题（5）谨慎对待离群值（outlier）6028LABORDEATHRATE502440203016201210804788082848688909294969800020450556065707580859095(6)过原点回归模型与非过原点回归模型相比有如下不同点:①残差和等于零不一定成立。②可决系数R2有时会得负值！3.8建模过程中应注意的问题(7)改变变量的测量单位可能会引起回归系数值的改变，但不会影响t值。即不会影响统计检验结果。(8)回归模型给出估计结果后，首先应进行F检验。F检验是对模型整体回归显著性的检验。(检验一次，H0:β1=β2=…=βk=0;H1:βj不全为零。)若F检验结果能拒绝原假设，应进一步作t检验。t检验是对单个解释变量的回归显著性的检验。若回归系数估计值未通过t检验，则相应解释变量应从模型中剔除。剔除该解释变量后应重新回归。按经济理论选择的变量剔出时要慎重。3.8建模过程中应注意的问题(10)对于多元回归模型，当解释变量的量纲不相同时，不能在估计的回归系数之间比较大小。若要在多元回归模型中比较解释变量的相对重要性，应该用 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 化变量回归。(11)利用回归模型预测时，解释变量的值最好不要离开样本范围太远。原因是①根据预测公式离样本平均值越远，预测误差越大。②有时，样本以外变量的关系不清楚。当样本外变量的关系与样本内变量的关系完全不同时，在样本外预测就会发生错误。121086LOG(TRADE)45560657075808590953.8建模过程中应注意的问题(12)回归模型的估计结果应与经济理论或常识相一致。(13)残差项应非自相关。否则说明①仍有重要解释变量被遗漏在模型之外。②选用的模型形式不妥。(14)残差项不应有异方差。(15)避免多重共线性。(16)解释变量应具有外生性，与误差项不相关。(17)模型应具有高度概括性。若模型的各种检验及预测能力大致相同，应选择解释变量较少的一个。(18)模型的结构稳定性要强，超样本特性要好。(19)世界是变化的，应该随时间的推移及时修改模型。案例1：中国国债发行额模型（file:b1c4）首先分析中国国债发行额序列的特征。1980年国债发行额是43.01亿元（占GDP的1%），2001年国债发行额是4604亿元（占GDP的4.8%）。以当年价格计算，21年间（1980-2001）增长了106倍。平均年增长率是24.9%。5000DEBT400030002000100008082848688909294969800案例1：中国国债发行额模型（file:b1c4）中国当前正处在社会主义市场经济逐步完善，宏观经济平稳运行的阶段。国债发行总量（，亿元）应该与经济总规模，财政赤字的多少，每DEBTt年的还本付息能力有关系。选择3个解释变量，国内生产总值（GDPt：百亿元），财政赤字额（DEFt：亿元），年还本付息额（REPAYt：亿元），根据散点图建立中国国债发行额（DEBTt，亿元）模型如下：DEBTt=β0+β1GDPt+β2DEFt+β3REPAYt+ut案例1：中国国债发行额模型（file:b1c4）DEBTt=4.38+0.34GDPt+1.00DEFt+0.88REPAYt+uˆ(0.2)(2.1)(26.6)(17.2)R2=0.9986,DW=2.12,T=21,(1980-2000)案例1：中国国债发行额模型（file:b1c4）预测2001年的国债发行额（DEBTt，亿元）。DEBT2001=4608.714608.71−4604预测误差是η==0.001460448004760DEBTF4748.04720Forecast:DEBTF4680Actual:DEBTForecastsample:2001200146404608.7Includedobservations:14600RootMeanSquaredError4.7091234560MeanAbsoluteError4.7091234520MeanAbs.PercentError0.10228344804469.444402001建模案例2：中国客运总量模型（file:5line01）有中国客运总量（Yt，10亿人次）、总人口数（X1t，亿人），年人均国内生产总值（X2t：千元）数据（1990∼2002）。建立中国客运总量模型Yt=β0+β1X1t+β2X2t+utX1t表示年底总人口数（亿人），X2t表示年人均国内生产总值（千元）。1818YY161614141212101088X1X2661234567891011.211.612.012.412.813.2建模案例2：中国客运总量模型（file:5line01）Yt=-19.85+2.30X1t+0.77X2t+uˆ(-2.0)(2.6)(4.2)R2=0.997,DW=2.0,T=13,(1990-2002)建模案例2：中国客运总量模型（file:5line01）17.417.21816Forecast:YFActual:Y17.0Forecastsample:1989200214Includedobservations:1416.8RootMeanSquaredError0.23503212MeanAbsoluteError0.158737MeanAbs.PercentError1.656332TheilInequalityCoefficient0.00973516.610BiasProportion0.045175VarianceProportion0.0874638CovarianceProportion0.86736216.46899091929394959697989900010216.22003YF±2S.E.样本外一期点预测样本内预测评价第3章结束.