多元线性回归若干估计量之间的关系
多元线性回归若干估计量之间的关系 乡=}阈玎,二
武谢科技WTUSMBulletinofScienceandTechnology1994年第3期 了一'多元线性回归若干估计量之问的关系
1引言
墨茔.,
{武祝绘辩拄大学基础课砰)
2,童?最
对一元线性回归某些估计量之间的关系,已有相当的研究.弄清各种估计量之间的关
系,便于判断在什么条件下,甩哪一种估计较好.实际上,各种各样的估计都是对最小二乘估计
作某一种改进,因此,弄清这些估计与最小二乘估计之问的关系是有意义的.本文的内容就是
对多元的情形给出这些估计的关系式,推广,深化了上述工作. 先引入一些记号,然后再进一步讨论.通常多元线性模型的假定是: .1
Y.xP=+0,,=liI,ykX=<*(1)
""J.
其中x已知,….独立同协差阵,未知.我们为了方便,假定y与x均已中心化,印 有Yt一0,,I一0,日此就可看成通常回归模型中的回归系数.的最小二乘估计记为, 则=(x)-ixY(这里?表示分量全为l的向量).
2估计量之间的关系
=:r^==cr??,+.
[:,,.][?+1[;::]^cr.r,cz
弓[j里L=一Ftz^一rn)(r'?^一'r【1))一'
证明:有
f~A'il(A一^)一L:A.^f")^":【1)^一'n).1【rf:Ar…Ff2)^一'Ff:).J fyyyx]fr…A,Fm*.,
【xYxJ【r(A一'F(1)*J?
(3)
武测科技
因此
X*Y(,(I)A一(1')+x'x(,(A一F(1)一0
于是
.
一
(xX)-LXY一一,《2)^一,(1)'(,(1^一F(1)一
引理1中的表达式明显地反映出当中有若干为0或接近于0的值时,^中就有趋近
于
..的值,是不好的.因此,显然应考虑删去接近于0的值.假定^??…??+?…?
+.,而从+以后的值均近似为0,于是将^,,?均分块,记 n:
…
一?z
这样就得到的特征根估计:
定义l记
虞一一F(mAFq?(,《In^F(?)叫(4)
则称是的特征根估计.
从定义1中,可以看出,如果在一元线性模型中,受因变量的观察值的影响不太,那
么在多元线性模型中情形就完全不同.因为^一?,+t是因变量与自变量联合协差阵
的
特征根.注意到(2)式,
一
(rf?A2))_1(,(:】AF《1))
=
(r(:l^IF(|]l+,(2,2l^j,(:))一(,?1ALr?'+F《?}A:Ft) 因此,和有关系式
定理1.(,(2lA1F?j')-iF?jAlF(1】I'
=一(xX)-1Er(2):A2F(1):一,(:2(A'一(,(啪(xx)一'F(22)一F(2):] (5)
证明:属=(xx,F(mA:r(z12')(xY一mA2F(1):), 将上式右端逆阵用四块公式展开,加以计算,得定理1中的关系式. 类似方法,可利用引理1,有
一一
(,(2)jA',nI'+F(2):A'F(1)(,(11Ar(1l1
+m^Fm:')一
垒一(Dl+D2)(I+G2)|1
对(Gt+0)一,用四块公式展开后,注意到一D0就是丘,所以有关系式 一
良一D20+(_D20f一.)Jr(?(A2一,1):G[1F(1)2)一F(I】20'] 由于AO,用0代入上式的^:,可得
定理2.圭一D20+(一Dz0f')r…2(,(1)2rIr(1】z)_.F?2G 一
(fl一D20')(,+r(I2((1):'F[1)2)-LF(?G)(6)
再看主成分估计与的关系考虑X的奇异值分解:
0]
点_尸.,P,T为正交阵,一{f
10.J
且1?2?…?>O,为xx的特征根.此对=X一P'
第3期程学光:多元线性回归若干估计量之阿的关系
f(1)ols
若从.+t起,值均接近于o,则将分块为=l0l一s,于是,可得主成分估计. 【00Jn一
定义z主成分估计=【:].
从定义可以看出主成分估计是将奇异值中接近于0的部分用0来代替.将T分块
为(
=一:
一
c.
[]c.:[罨;1=jTj'PY::TlTl
因此得主成分估计与的关系式.
定理3.一T,T.是对应于XX的前s个特征值的特征向量. 因此
l1lj一;II+lI?声
上面的讨论表明主成份估计是L估计的线性函数,并且是压缩有偏估计. 现在讨论多元线性模型特有的典型变量回归与普通最小二乘回归的关系. 先看典型变量的确定方法.设,z(O<?P<n)的观测值为: ..
=
[?】,.一【:】并且巳中心化,即yn一0,Xt=0.典型变量(d,6,z),=1,2,…, .
(I..'-)'
.
B
.
(61."")
{A'Y'XB=..卜…其中^是典型相关系数.因此有(xx)一.=BB,且有^使 川,,-0
于是y对这些数据相应的回归方程
中回归系数的最小二乘估计的表达式为
(7)
(8)
武涮科技
=BBXy(y)一y'y=疗8xy(A+.)yy
=ax1,1,r—
f:':jr
定理4.用典型相关系数及典型变量系数表示回归系数的最小=乘估计,有 声一r,,.1,.【
0^J
很明显,如有一部分^接近于0,则应删去这些^相应的项,使的估计更为稳定,于是 有:
.
一B
f,,.1,y,y.,【0j
称为的典型相关估计(选前.个),容易看出,定义中B.与A分黝是B与A的一部分 从式(9)和(10)立即可得.与的关系式
定理5.';盘-FB2A:Ay(儿)
?
.
1Rao?cR,LinearStatistical~erenccsandItsApplications?JohnWiley?l971.,
2Massy.WF.principalComponenLsRegressi~inExpIofat口rySta恤t王calResearch.LR.3tat..1965,60 (2):34,56..
3王橙
挂.OnRelationshipsbetweenthePrincipalComponentsandtheLatentRootRegressionEsti
mators.
技术报告.J989.
{张尧庭,方开奉.多元统计分析引论.北京:科学出蔽杜,[983
本文档为【多元线性回归若干估计量之间的关系】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483