多元线性回归模型

优选文档优选文档膆莂莆芁薀肇蚁莃薅肃芇羀薇膇芃螃膄蒁膇螈PAGEPAGE20优选文档PAGE第三章多元线性回归模型基本要求：1、理解多元线性回归模型的定义2、理解多元线性回归模型的假设3、掌握参数估计的计算4、理解参数统计性质第一节多元线性回归模型及假设一、多元线性回归模型好多经济现象经常要受多个因素的影响，研究被讲解变量受多个讲解变量的影响，就要利用多元回归模型。多元线性回归模型与一元线性回归模型基本近似，只但是讲解变量由一个增加到两个以上，被讲解变量Y与多个讲解变量X1,X2,,Xk之间存在线性关系。假设被讲解变量Y与多个讲解变量X1,X2,,Xk之间拥有线性关系，是讲解变量的多元线性函数，称为多元线性回归模型。即Y01X12X2kXk(3-1)其中Y为被讲解变量，Xj(j1,2,,k)为k个讲解变量，j(j0,1,2,,k)为k1个未知参数，为随机误差项。被讲解变量Y的希望值与讲解变量X1,X2,,Xk的线性方程为：E(Y)01X1X2kXk(3-2)2称为多元整体线性回归方程，简称整体回归方程。对于n组察看值Yi,X1i,X2i,,Xki(i1,2,,n)，其方程组形式为：Yi01X1i2X2ikXkii,(i1,2,,n)(3-3)即Y的均值的影响。Y101X112X21kXk11Y201X122X22kXk22Yn01X1n2X2nkXknn其矩阵形式为Y11X11X21XY2=1X12X22XYn1X1nX2nX0k111k2+22knnk即YXβμ(3-4)其中Y11X11XYn1Y2为被讲解变量的察看值向量；Xn(k1)1X12XYn1X1nX01121222nXXXk1k2为讲解变量的察看kn值矩阵；β2为整体回归参数向量；μ2为随机误差项向量。(k1)1n1nk整体回归方程表示为：E(Y)Xβ(3-5)与一元线性回归解析相同，多元线性回归解析仍是依照察看样本估计模型中的各个参数，对估计参数及回归方程进行统计检验，从而利用回归模型进行经济展望和解析。多元线性回归模型包含多个讲解变量，多个讲解变量同时对被讲解变量Y发生作用，若要察看其中一个讲解变量对Y的影响就必定假设其他讲解变量保持不变来进行解析。所以多元线性回归模型中的回归系数为偏回归系数，即反响了当模型中的其他变量不变时，其中一个讲解变量对因变量由于参数0,1,2,,k都是未知的,能够利用样本察看值(X1i,X2i,,Xki;Yi)对它们进行估计。若计算获取的参数估计值为?0,?1,?2,,?k，用参数估计值取代整体回归函数的未知参数0,1,2,,k，则得多元线性样本回归方程：?????(3-6)Yi01X1i2X2ikXkn其中?0,1,2,,k)为参数估计值，?1,2,,n)为Yi的样本回归值或样本拟合值、样本估j(jYi(i计值。其矩阵表达形式为:??(3-7)YXβ?Y1?其中?Y2为被讲解变量样本察看值向量Y的n1阶拟合值列向量；Yn1?Yn1X11X21Xk1Xn(k1)1X12X22Xk2为讲解变量X的n(k1)阶样本察看矩阵；1X1nX2nXkn?0??1?为未知参数向量的(k1)1阶估计值列向量。βk112?k样本回归方程获取的被讲解变量估计值?与实质察看值Yi之间的误差称为残差ei。Yi?????eiYi(01X1i2ikiXki)(3-8)YiYi二、多元线性回归模型的假设与一元线性回归模型相同，多元线性回归模型利用一般最小二乘法(OLS)对参数进行估计时，有以下假设：假设1零均值假设：E(i)0,i1,2,,n，即12E(μ)EnE(1)E(2)(3-9)0E(n)假设2同方差假设(的方差为同一常数)：Var(i)E(i2)2,(i1,2,,n)假设3无自相关性：Cov(i,j)E(ij)0,(ij,i,j1,2,,n)121μμE2(1,2,,n)E21E()nn1E(12)E(12)E(1n)E(21)E(22)E(2n)E(n1)E(n2)E(n2)200020u2In002假设4随机误差项与讲解变量X不相关(这个假设自动建立Cov(Xji,i)0,(j1,2,,k,i1,2,,n)假设5随机误差项遵从均值为零，方差为2的正态分布：i~N(0,2In)假设6讲解变量之间不存在多重共线性：rank(X)k1n121n222n2n2n(3-10))：即各讲解变量的样本察看值之间线性没关，讲解变量的样本察看值矩阵X的秩为参数个数k+1，从而保证参数0,1,2,,k的估计值唯一。第二节多元线性回归模型的参数估计及统计性质一、多元线性回归模型的参数估计(一)回归参数的最小二乘估计对于含有k个讲解变量的多元线性回归模型Yi01X1i2X2ikXkii（i1，2，，n)设?0,?1,,?k分别作为参数0,1,,k的估计量，得样本回归方程为：?????01X1i2X2ikXkiYi察看值Yi与回归值?的残差ei为：YieiYi?Yi(????Yi01X1i2ikiXki)由最小二乘法可知???与回归值?的残差0,1,,k应使全部察看值Yiei的平方和最小，即使Yi????2?2Q(0,1,2,,k)ei(Yi)Yi(Yi???X2i?2(3-11)01X1i2kXki)获取最小值。依照多元函数的极值原理，Q分别对?0,?1,,?k求一阶偏导，并令其等于零，即Q0,(j1,2,,k)(3-12)?j即Q2(Y??X?X?X)(1)0?i011i22ikki0Q2(Yi????Xki)(X1i)0?01X1i2X2ik1Q(Yi????Xki)(Xki)0?01X1i2X2ikk化简得以下方程组??X1i?X2i?XkiYin012k?X1i?2?X2iX1i?XkiX1iX1iYi01X1i2k(3-13)?Xki?X1iXki?X2iXki?2XkiYi012kXki上述(k1)个方程称为正规方程，其矩阵形式为?nX1iX2iXki0Yi?2X1iX2iX1iXkiX1i1X1iYiX1i?(3-14)2XkiX1iXkiX2iXkiXki2?XkiYik由于nX1iX2iXkiX1iX12iX2iX1iXkiX1iXkiX1iXkiX2iXkiXki21111X11X21Xk1X11X12X1n1X12X22Xk2X21X22X2nXXXk1Xk2Xkn1X1nX2nXknYi111Y1X11X12X1nX1iYiY2X21X22X2nXYXkiYiXk1Xk2XknYn?0??1?2为估计值向量设β?k样本回归模型YX?eX的转置矩阵X，则有β两边同乘样本察看值矩阵?XYXXβXe得正规方程组：XY?(3-15)XXβ由假设(6)，R(X)k1，XX为(k1)阶方阵，所以XX满秩，XX的逆矩阵(XX)1存在。所以?1XY(3-16)β(XX)则为向量β的OLS估计量。以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(3-3)式得二元线性回归模型为Yi01X1i2X2ii为了计算的方便，先将模型中心化。1nXji，1,2)XjXji,xjiXj(jni1Y1nYiYYi,yini1Lpqxpixqi,(p,q1,2)LjYxjiyi,(j1,2)LYYyi2设001X12X2，则二元回归模型改写为中心化模型。Yi01x1i2x2ii(3-17)记1x11x210X,β11x12x222n00YiXX0x12ix1ix2i,XYx1iYi(3-18)0x2ix1ix22ix2iYi将Lpqxpixqi,(p,q1,2)代入得n00XX0L11L12(3-19)0L21L22由于nnnnxjiYixji(yiY)xjiyiYxjii1i1i1i1nLjY,(j1,2)xjiyi(3-20)i1则YiXYL1YL2Y由(3-16)式得?10Yi1L1Y(3-21)β(XX)XYnL10L2Y其中L11L121L22L12L11L12L22L11L22L12L21L12L11由(3-21)式可知?0Y?1L1Y1L22L12L1Y1L?L2Y2L12L11L2YL11L22L122得?L1YL22L2YL12(3-22)1L11L22L122?2L2YL11L1YL12(3-23)L11L22L122?Y??X2(3-24)01X122(二)随机误差项的方差的估计量样本回归方程获取的被讲解变量估计值?与实质察看值Yi之间的误差称为残差eiYi?????Yi(01X1i2iX2ikiXki)eiYiYi则??1eYYYXβ(Xβμ)X[(XX)XY](Xβμ)X[(XX)1X(Xβμ)]XβμX[β(XX)1Xμ]μX(XX)1Xμ[InX(XX)1X]μ设PInX(XX)1X，能够得出P是n阶对称幂等矩阵，PP，P2P。于是ePμ而残差的平方和为ei2ee(Pμ)(Pμ)μPPμμPμμ[InX(XX)1X]μE(ee)E{μ[InX(XX)1X]μ}2tr[InX(XX)1X]2[trIntrX(XX)1X]2[n(k1)]其中“tr”表示矩阵的迹，即矩阵主对角线元素的和。于是2E(ee)Eeen(k1)n(k1)随机误差项的方差2的无偏估计量，记作Se2，即E(Se2)2，Se2?2，Se为残差的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 差(或回归标准差)。所以Se2ei2ee(3-25)nk1nk1其中2??eiee(YXβ)(YXβ)YY???2βXYβXXβ??1XYYY2βXYβXX(XX)YY?(3-26)βXY比方,对于二元线性回归模型(k2)Se2eeei2(3-27)n3n3ei2eeLYY?1L1Y?2L2Y2??YiX1iYi2X2iYi(3-28)1二、估计参数的统计性质1、线性性指最小二乘估计量?Y1,Y2,,Yk的线性函数。β是被讲解变量的察看值由于?1XYβ(XX)设P(XX)1X，则矩阵P为一非随机的(k1)n阶常数矩阵。所以?(3-29)βPY显然最小二乘估计量?Y1,Y2,,Yk的线性函数。β是被讲解变量的察看值2、无偏性将YXβμ代入(3-16)式得?111β(XX)XXβμXXXXβXXXμβXX1(3-30)Xμ则E?βE[XX1βXμ]βXX1XE(μ)β?β所以β是的无偏估计量。最小方差性设P为np阶数值矩阵，X为pn阶随机矩阵(随机变量为元素的矩阵)，Q为nn阶数值矩阵，则EPXQPEXQ下面我们推导β?的方差、协方差矩阵。定义：Var?E??βββββ?00????E110,1,k01,k?kkVar?Cov?,?Cov?,?0010kCov?,?Var?Cov?,?1011kCov??Cov?,?Var?k,0k1k由(3-30)式得?1XμββXX?XX1Xμ1ββμXXX所以Var?E??βββββE[(XX)1XμμX(XX)1]XX1XEμμXXX1XX1X2InXXX12(XX)1(3-31)这个矩阵主对角线上的元素表示?的方差，非主对角线上的元素表示?的协方差。比方ββVar?i是位于2XX1的第i行与第i列交织处的元素(主对角线上的元素)；Cov?i,?j是位于2XX1的第i行与第j列交织处的元素(非主对角线上的元素)?在应用上，我们关心的β(3-31)式记作的方差，而忽略协方差，所以把Var?21βXXii(3-32)记S1XX1Cij,(i,j0,1,2,?2?,k)，则VariCii，所以β是β的最小方差线性无偏估计。这说明，在(3-1)式系数的无偏估计量中，OLS估计量的方差比用其他估计 方法 快递客服问题件处理详细方法山木方法pdf计算方法pdf华与华方法下载八字理论方法下载 所得的无偏估计量的方差都要小，这正是OLS的优越性所在。用Se2取代2则得?i的标准估计量的估计值，乃称为标准差。S?2(3-33)iCiiSe其中Se2ee1nk对于二元回归模型(k2)，求估计量?1,?2的方差，由(3-32)式得?21210VarnβXXiiL10ii其中L11L12LL12L22于是?2L2221Var1?Lii2L12L11L22L122所以Var?2?L22211L11L22L122Var?22?2L112L11L22L122S?1L222Se2L11L22L12S?L11S22L11L22L122e其中Se2een3L12L11ii(3-34)(3-35)(3-36)(3-37)第三节显然性检验一、拟合优度检验(一)总离差平方和分解设拥有k个讲解变量的回归模型为Yi01X1i2X2ikXkii其回归方程为???X1i?X2i?XkiYi012k离差分解：YiYYi??YYiYi总离差平方和分解式为：2?22YiYYYiY(3-38)Yi即TSSESSRSS(3-39)总离差平方和分解为回归平方和与残差平方和两部分。(二)样本决定系数对于多元回归方程，其样本决定系数为复决定系数或多重决定系数。R2,(i1,2,,k)，简记为R2。YXR2ESS(3-40)依照式(3-39)TSSR21RSS(3-41)TSS由于TSSYY22nY2Yii由(3-26)式知?RSSYYβXY所以2ESSTSSRSS?XYnYβR2?nY2(3-42)βXYYYnY2R2作为检验回归方程与样本值拟合优度的指标：R2(0R21)越大，表示回归方程与样本拟合的越好；反之，回归方程与样本值拟合较差。详尽的，当k2时,求样本决定系数?Y222R2YiyieiYiY2yi2由(3-28)式，得ei2LYY?1L1Y?2L2Y，所以有R2?1L1Y?2L2Y(3-43)LYY(三)调整后的样本决定系数在使用R2时，简单发现R2的大小与模型中的讲解变量的数目相关。若是模型中增加一个新讲解变量，总离差TSS不会改变，但总离差中由讲解变量讲解的部分，即回归平方和ESS将会增加，这就是说R2与模型中讲解变量个数相关。但经过增加模型中讲解变量的数目而使R2增大是错误的，显然这样R2来检验被回归方程与样本值拟合优度是不合适的，需要对R2进行调整，使它不仅能说明已被讲解离差与总离差的关系，而且又能说明自由度的数目。以R2表示调整样本决定系数，R21Se2(3-44)S2y其中ei2Yi2Se2,Sy2Ynk1n1这里nk1是残差平方和的自由度，n1是总离差平方和的自由度。由(3-44)式得R21ei2n111R2n1Yi2Ynk1nk1其中,n是样本察看值的个数,k是讲解变量的个数。从式中能够看出，当增加一个讲解变量时，由前面解析可知R2会增加，引起1R2减少，而n1增加，所以R2不会增加。这样用R2判nk1定回归方程拟合优度，就除掉了R2对讲解变量个数的依赖。R2或R2只能说明在给定的样本条件下回归方程与样本察看值拟合优度，其实不能够做出对整体模型的推测，所以不能够单凭R2或R2来选择模型，必定对回归方程和模型中各参数的估计量做显然性检验。二、方程显然性检验由离差平方和分解(3-39)式可知，总离差平方和TSS的自由度为n1，回归平方和ESS是由k个讲解变量X1,X2,,Xk对Y的线性影响决定的。所以它的自由度为k。所以，残差平方和的自由度由总离差平方和的自由度减去回归平方和的自由度，即为nk1。检验回归方程可否显然，第一步，作出假设H0:12k0备择假设1：1、2、、bk不相同时为0Hbb第二步，在H0建立的条件下，计算统计量FFESSk~Fk,nk1RSSnk1第三步，查表临界值对于假设H0，依照样本察看值计算统计量F给定显然水平，查第一个自由度为k，第二个自由度为nk1的F分布表得临界值Fk,nk1。当FFk,nk1时，拒绝H0，则以为回归方程显然建立；当FFk,nk1时，接受H0，则以为回归方程无显然意义。三、参数显然性检验回归方程显然建立，其实不意味着每个讲解变量X1,X2,,Xk对被讲解变量Y的影响都是重要的。若是某个讲解变量对被讲解变量Y的影响不重要，即可从回归模型中把它剔除掉，重新建立回归方程，以利于对经济问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 的解析和对Y进行改正确的展望。为此需要对每个变量进行察看，若是某个讲解变量X对被讲解变量Y的作用不显然，那么它在多元线性回归模型中，其前面的系数可取值为零。所以必定对i可否为零进行显然性检验。由(3.44)式S?i??iCiiSe2(3-45)其中Se2eenk1对回归系数?i进行显然性t检验，步骤以下：(1)提出原假设H0:i0；备择假设H1:i0。???(2)构造统计量ti?i，当i0成马上,统计量ti~tnk1。这里S是S?iiSi?的标准差，k为讲解变量个数，计算由式(3-45)给出。i(3)给定显然性水平，查自由度为nk1的t分布表，得临界值t(nk1)。2(4)若tt(nk1)，则拒绝H0:i0，接受H1:i0，即以为i显然不为零。若2tt(nk1)，则接受H0:i0，即以为i显然为零。2四、利用多元线性回归方程进行展望对于多元线性回归模型Yi01X1i2Xi2kXkiiXβii其中Xi1,X1i,X2i,,Xki，β0,1,,k，(i1,2,,n)依照样本察看值1,X1i,X2i,,Xki;Yi,(i1,2,,n)利用最小二乘法求得回归方程?Xi?Yiβ展望就是给讲解变量某一特定值X01,X10,X20,,Xk0对被讲解变量的值Y0进行估计，??e0为一随机变量，能够证明e0遵从正态Y0作为Y0的展望值。设e0Y0Y0，称其为展望误差。分布，即e0~N0,21X0XX1X0将式中2用它的估计值Se2取代，则得e0的标准差?(e0)?e0Se1X0XX1X0其中Seeenk1统计量?Y0tY0?e0对于给定置信水平1，展望值Y0置信区间为?t2?e0?t2?e0Y0Y0Y0即为Y?0t2Se1X0XX1X0EY0X0Y?0t2Se1X0XX1X0五、多元线性回归解析实例第四节最大似然估计一、似然函数(一)基本假设对于所研究的模型YXβμ，给定以下基本假设：(1)~N(0,2I)(2)Cov(Xij,i)0,(i1,2,,n;j1,2,,k)P(x)k随机抽样总是生产单调的最可能结果：任意样本都是其所属整体的代表。这个强假设是针对小样本而言的。（二）似然函数确定随机变量一般表达式为：Y的任一察看样本的联合概率的函数，就称为Y的似然函数。LY;Xβ;2IP(Y)1n2exp1(YXβ)(YXβ)(3-47)2)22(2二、极大似然估计法的基本思想极大似然估计法(maximumlikelihoodestimation,MLE)需要对随机扰动项的分布做出假设，通常选择正态分布假设。在极大似然估计中，假设样本是固定的，n个察看值都是独立察看的，这个样本可由各种不相同的整体生成，而每个样本整体都有自己的参数。那么在可供选择的整体中，哪个整体最可能生成所察看到的n个样本值？为此需要估计每个可能整体获取这n个察看值的联合概率，选择其参数能使察看样本的联合概率最大的那个整体。三、线性回归模型的最大似然估计一元随机扰动变量的正态分布密度函数为Pi1exp1i02(3-48)2222相互独立的多元随机扰动变量的正态分布密度函数为PP1,2,,nP1P2Pn12exp1μμ(3-49)n2222定义被讲解变量的概率密度函数，要依照Y与的关系进行变换PYPY式中的是的偏微分矩阵的行列式的绝对值，该值就是Jacobean变换行列式的绝对值Y111Y1Y2Yn222Y1Y2YnnnnY1Y2Yn对于上面所研究的线性回归方程来说，Jacobean矩阵为单位矩阵，相应行列式值是1。所以PYP的似然函数LY;Xβ,2IPY1n2exp12YXβYXβ（3-50)222设2，求似然函数的极大值L0由于lnL是L的单调函数，所以使lnL极大的参数值也将使L极大，即lnL1LL0。简化似然函数为对数表达式，为：lnLnln2nln212YXβYXβ(3-51)222求上式对β和2的偏导数，并令其等于零，能够求出相关估计参数β和S2。lnL12XY2XXβ12XYXXβ0(3-52)β22SSlnLn10S22S22S4YXβYXβ(3-53)这k1个方程的解为βXX1XYS2een显然，参数估计式?22β的无偏估计式，而S则是是的小样本有偏估计式，由于βE(S2)EeenkEeenk2nnnkn仅当n时，ES2~2，所以S2是2的渐近无偏估计式。本章小结：本章重点研究了一个经济变量受多个因素影响的多元线性回归模型。介绍了多元线性回归模型的建立及其假设条件，应用一般最小二乘法进行多元线性回归模型的参数估计及参数的统计性质和回归方程的显然性检验，利用实例表达了计量经济学软件包EViews在多元线性回归 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 中的应用；最后介绍了最大似然估计法，拓宽模型回归参数估计的思路。出师表两汉：诸葛亮先帝创业未半而中道崩殂，今天下三分，益州疲弊，此诚紧迫存亡之秋也。然侍卫之臣不懈于内，忠志之士忘身于外者，盖追先帝之殊遇，欲报之于陛下也。诚宜开张圣听，以光先帝遗德，恢弘志士之气，不宜自轻自贱，引喻失义，以塞忠谏之路也。宫中府中，俱为一体；陟罚臧否，不宜异同。若有作奸非法及为忠善者，宜付有司论其刑赏，以昭陛下平明之理；不宜偏私，使内外异法也。侍中、侍郎郭攸之、费祎、董允等，此皆良实，志虑忠纯，是以先帝简拔以遗陛下：愚以为宫中之事，事无大小，悉以咨之，尔后推行，必能裨补阙漏，有所广益。将军向宠，性行淑均，晓畅军事，试用于往日，先帝称之曰“能”，是以众议举宠为督：愚以为营中之事，悉以咨之，必能使行阵友好，利害得所。亲贤臣，远小人，此先汉所以兴盛也；亲小人，远贤臣，此后汉所以倾颓也。先帝在时，每与臣论此事，何尝不痛惜恼恨于桓、灵也。侍中、尚 书 关于书的成语关于读书的排比句社区图书漂流公约怎么写关于读书的小报汉书pdf 、长史、参军，此悉贞良死节之臣，愿陛下亲之、信之，则汉室之隆，可计日而待也。臣本布衣，躬耕于南阳，苟全性命于乱世，不求闻达于诸侯。先帝不以臣鄙俗，猥自枉屈，三顾臣于草庐之中，咨臣以当世之事，由是感谢，遂许先帝以驱驰。后值推翻，受任于败军之际，受命于危难之间，尔来二十有一年矣。先帝知臣谨慎，故临崩寄臣以大事也。受命以来，夙夜忧叹，恐交付不效，以伤先帝之明；故五月渡泸，深入不毛。今南方已定，兵甲已足，当奖率三军，北定中原，庶竭驽钝，攘除奸凶，兴复汉室，还于旧都。此臣所以报先帝而忠陛下之职分也。至于商酌损益，进效忠言，则攸之、祎、允之任也。愿陛下托臣以讨贼兴复之效，不效，则治臣之罪，以告先帝之灵。若无兴德之言，则责攸之、祎、允等之慢，以彰其咎；陛下亦宜自谋，以咨诹善道，察纳雅言，深追先帝遗诏。臣不胜受恩感谢。今当远离，临表涕零，不知所言。