数理统计05第五讲 估计量的优良性准则

第五讲估计量的优良性准则（续）一、一致最小方差无偏估计（续）二、信息不等式三、相合估计一、一致最小方差无偏估计（续）定理4.3(Lehmann-Scheffe)是完全充分统计量，设)(xS的是)()(qx无偏估计，的是则)())(|)(()(qxSxExTUMVUE，，进一步，如果对所有,))((xTVar。唯一的是则UMVUE)()(qxT注：Lehmann-Scheffe定理实际上给出了两种寻找UMVUE的方法，（1）。道完全充分统计量)(xT))(()())((xThqxTh无偏统计量，则是若。的也是UMVUE)(q（2），则的一个无偏估计量若能获得)()(xq。的就是UMVUE)())(|)((qxTxE但首先必须知即寻找完全充分统计量的函数使之成为的无偏估计。)(q例4.5是来自总体的nxxx,,,21样本。，服从正态分布设总体),(2NX未知，),(2。的和求参数UMVUE2解首先求完全充分统计量。由于222)(exp21),(xxp222221exp2122xxe所以由的值域包含内点，由于2221,w定理4.2可知完全充分统计量为).,()(121niiniixxxT的无偏估计，是而我们已经知道niixnx11且是完全充分统计量的函数，)(xT知时，的UMVUE为。x故当未2无论是已知或未知，2注：。的都是UMVUEx又21212211)(11xnxnxxnSniinii)(2xT完全充分统计量的无偏估计，且是是的函数，。方差2S例4.6为样本的未知时，故当UMVUE2上服从均匀分布，其中在设总体],0[X,是未知参数,,,,21是来自总体的样本nxxx。的试求参数UMVUE注：。的不是已知时，当UMVUE22S解由因子分解定理可知.,0,0,1);,,,()()1(21otherwisennnxxxxxp()(1)(){0}1()nxxnIIx},,,max{21)(nnxxxx它是充分统计量。由于下证它也是完全的。的密度函数为可知由)(1)(}{}{nnnxtxPtxP,00);(1otherwisettntpnn，由及对任何函数0)(tg0)())((01)(dtnnnttgnxgE,0)(,001dtnttg有可得对所有的时才能成立，有在0)(tg这个只也是完全的。因而)(nx又因为,1)(0)(nntnxEnnndt,)1(ˆ)(nxnn的无偏估计为所以的的函数，故它就是且是完全充分统计量)(nxUMVUE。二、信息不等式在上一节，我们知道如果UMVUE存在，则它在无偏估计类中是最好的，且其方差不可能是零，不是无偏估计。因为参数的方差为零的平凡估计)(q那么，现在的问 题 快递公司问题件快递公司问题件货款处理关于圆的周长面积重点题型关于解方程组的题及答案关于南海问题 是：对的无偏估计类，)(qqU（1）既然无偏估计的方差不是零，在一定的条件下，一个下界，则必存在这个下界到底是多少？（2）若UMVUE存在，那么它的方差是否可以达到这个下界？问题（1）已由Cramer-Rao不等式（信息不等式）揭示；问题（2）不一定成立，我们举例予以阐述。为了使问题简化，在这一小节中，我们仅讨单参数和连续总体情况。对多参数及离散总体也有相应结论，可参看《高等数理统计学》（茆诗松），或《线性统计推断及应用》（C.R.Rao）。，，密度函数为设分布族为),(},{xpP。为直线上的一个开区间满足下述条件的分布称为族},{P（1）无关，且对任与支撑}0),(:{xpxA存在。偏导数一),(ln,,xpAx（2）||)(TExT是满足，如果对所有Cramer-Rao正则族：，积分和微任一统计量，则对),()(xpxT分可交换次序，ndxdxxpxT1),()(ndxdxxpxT1),()(即当仅有（1）成立时，我们可以定义所谓的Fisher信息量（FisherInformationNumber）2),(ln)(xpEI))(0(I例4.7设总体分布是Poisson分布族，即.,1,0,!),(xexxpx则,1),(lnxxp.1)()1()(2xVarxEI因而是来自总体的样本，如果nXXX,,,21可以证明，)()(1nII.)),(ln()(211XpEI其中定理4.4(Cramer-RaoorInformationInequality)))(()(XTVarXT满足是对所有设的统计量，。记))(()(XTE如果分布族是Cramer-Rao正则族，,)(0I且则对所是可微的，且，有的)(.)())(())((2IXTVar证明由于对所有，ndxdxxpxT1),()()(等式两边对求导可得ndxdxxpxT1),()()(ndxdxxpxpxT1),()),((ln)(.),(ln)(xpxTE有有又因为对所有的，1),(1ndxdxxp.0),(1ndxdxxp等式两边对求导可得即就是.0),(),(ln1ndxdxxpxp.0),(lnxpE这样就有从而有),(ln)()(xpxTE由SchwarzInequality)()(|||)(|22YEXEXYEXYE.),(ln),(xpxTCov有),(ln),(|)(|xpxTCov),(ln))((xpVarXTVar而)(),(ln),(ln2IxpExpVar所以有)())((|)(|IXTVar即就是.)())(())((2IXTVar在信息不等式中，下界通过依赖于)(XT),(因它是的数学期望，)(XT也就是说对不同的统计量而言，下界是变化的。如果将此:)(就有的无偏估计类定理应用于参数qUq,)()(qUXTq的任一无偏估计对参数有.)())(())((2IqXTVar特别地，,)(UXT对任一时，当)(q有.)(1))((IXTVar通常称量为Cramer-Rao下界。)(1I注意：（1）在以上三个不等式中的密度函数或分布率。)()(1nII,)),(ln()(211XpEI其中为总体),(1xp通常将看成一次观察所能获得的关于)(1I参数的信息，即一个观测值所含的信息，1X那么就 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示样本所含的信息。)(InXX,,1（2）在将定理4.4应用于无偏估计类时，qU一定要注意定理的条件是否满足。Cramer在1946年举例说明当定理的条件不满足时，存在这样的无偏估计，其方差小于信息不等式的下界。这个例子为：是来设nXXX,,,21的样本，自总体X.0),()(otherwisexexpx的密度函数为X取充分统计量作为参数的估计，)1()(XXT通过取其数学期望可获得参数的无偏估计为,1)(ˆ)1(nXX则有).1()(111))(ˆ(2nInnXVar其具体证明过程课后自己完成。对无偏估计类而言，了方差的下界，那么UMVUE方差是否一定取既然信息不等式给出得这个下界？我们用下述例子说明不一定。例4.8的来自正态总体设)1,(,,,21NXXXn一个简单样本。试求参数的UMVUE，2并证明其方差大于信息不等式的下界。解由于2)(exp21),(2xxp.exp2exp2exp2122xx由定理4.2知完全充分统计量为，niiX1所以UMVUE为，X且服从。)1,(nN而由2222)())(()()(1XEXEXEXVarn有.122nXE充分的无偏估计，且是完全是这样221nX统计量的函数，X所以它是的UMVUE。2为了计算UMVUE的方差，令),(XnZ则。服从标准正态分布则)1,0(NZ)()1(22XVarnXVar.4222nn}){(122nZVarn而21),(ln)(xpEI222)(exp21lnxE222)(xE1)(2xE所以)1(2nXVarnn2242,)())((41222nIn这说明的UMVUE的方差未达到信息不等2式的下界。的方差取得的无偏估计如果参数)(ˆ)(Xqq信息不等式的下界，即,)())(())(ˆ(2IqXqVar。的必是参数则UMVUE)()(ˆqXq例4.9的来自正态总体设),0(,,,221NXXXn一个简单样本。。的试求参数UMVUE2解由于),(ln)()(2122221XpEI32222)()(21xE2222222exp21ln)(xE,)(2122从而。222)(2)(nI由信息不等式知，,)(ˆ22UX一无偏估计对任有.)(2)())(())(ˆ(22222nIXVar所以,1)(ˆ122niiXnX若取可知服从由)1(222iXniiXXn12222)(ˆ～)(2n,2)(ˆ22nXnVar,)(ˆ22nXnE即.)(2))(ˆ(222nXVar,))(ˆ(22XE故,)())(()(2))(ˆ(22222InXVar。的是参数从而UMVUE21221)(ˆniiXnX定义4.4正是设分布族RaoCramer},{P则族，是可估参数，)(q,)(ˆqUXq其方差达到信息不等式的下界，如果存在某无偏估计即,)())(())(ˆ(2IqXqVar则称为的)(ˆXq)(q有效估计。(EfficientEstimate)定义4.5,)(ˆ)(qUXqq的任一无偏估计对参数令,))(ˆ()())(())(ˆ(2XqVarIqXqe的为估计则称)())(ˆ(qXqe有效率(Efficiency)。显然,1))(ˆ(0Xqe因此，有效估计乃是有效率为1的无偏估计。定义4.6估计序列，是参数设)()}({qXTn如果),())((limqXTEnn，对所有的都有的为参数则称)()(qXTn渐近无偏估计。（AsymptoticUnbiasedEstimate）例如对证态总体，),(2N我们知道是总2ˆn体方差的有偏估计，2且.1)ˆ(22nnEn,1lim)ˆ(lim222nnEnnn这样有的渐近无偏估计。是总体方差故22ˆn定义4.7是可估参数，设)(q,)(ˆqnUXq计序列如果存在无偏估使得1))(ˆ()())((lim))(ˆ(lim2XqVarIqXqenn成立，则称为的)(ˆXqn)(q渐近有效估计。(AsymptoticEfficientEstimate)例如的样本，是来自正态总体),0(,,21NXXn。的有效估计是知方差由例niiXn122110.4由于所以niinXXSn12222)()1(～)1(2n).1(2)1(22nSnVarn,1)1(22nSnEn即,)(22nSE.1)(2)(222nSVarn，也不的既不是这说明无偏估计UMVUE22S而Cramer-Rao下界为,)(2)(1222nI是有效估计。但是,11)(2)(2lim)()(1lim)(lim2222222nnSVarISennnnn的渐近有效估计。是故样本方差22nS需要说明的是当UMVUE的方差较大时，方差小的有偏估计也不失为一个好的估计。三、相合估计引例假设掷一枚硬币，p出现正面的概率是，出现反面的概率为。pq1为了估计正面出现的概率，p做次独立重复试验，n即将硬币反复掷次，n令),,2,1(01niXi出现反面，出现正面，,11率次掷硬币出现正面的频表示则nXnXniin由大数定律知，试验次数越多，n频率越nX时，即当n频p率稳定于（趋于）概率。nX接近于正面出现的概率，p时，当样本容量变大要求参数的估计量具有这种极限性质实际的估计量。概率作为掷硬币正面出现的把pXn上是对估计量的基本要求，这就是下面要介绍估计量的相合性(Consistency)准则。定义4.8的是参数设)(),,(ˆ)(ˆ1qXXqXqnnn任一估计序列，依概率收敛于参数真如果}ˆ{nq，有即对任意的0,0}|)()(ˆ{|limqXqPnn的是则称)()(ˆqXqn),(q值相合估计。(ConsistentEstimate)一般情形下证明估计的相合性可使用定义或大数定律。时估计量的性质，相合性只是反映了n即大样本性质，当样本容量有限时是无意义的。例4.10相合估计。上均匀分布总体是来自设],0[,,1nXX的一个简单样本，是其估计的试证明)(nXML证明,00);(1otherwisettntpnn由例4.6知的密度函数为)(nX且,1)()(nnXEn,1lim)(lim)(nnXEnnn渐近无偏估计。是所以)(nX}{}|{|)()(nnXPXP，有又因为对0.01nnndttn这样.0lim}|{|lim)(nnnnXP的相合估计。是故)(nX下面的定理在证明估计的相合性时很有用。定理4.5的相合估计，是参数如果)()(ˆqXqn的是则))(()ˆ(qhqhn相合估计。且处连续，在函数)()(qyyh证明处连续，所以对在由于函数)()(qyyh,0,0时，有使得当|)(|qy.|))(()(|qhyh从而}.|)()(ˆ{|}|))(()ˆ({|qXqPqhqhPnn的相合估计，所以是又因为)()(ˆqXqn.0}|)()(ˆ{|limqXqPnn这样}|))(())(ˆ({|lim0qhXqhPnn.0}|)()(ˆ{|limqXqPnn即就是.0}|))(())(ˆ({|limqhXqhPnn的相合估计。是故)())(ˆ(qXqhn在Hardy-Weinberg模型中同位基因.2ˆ,1ˆ,ˆ2133211nnnnnnnn之一发生频率的三个频率替换估计为又因为相应的函数2,1,2131pppp且由大数定律知的相合是iipnn估计，的相合估计。都是知故由定理321ˆ,ˆ,ˆ5.4都是连续函数，例如4.11注：（1）这里仅介绍（弱）相合性(依概率收敛)，还有强相合性(依概率1收敛或几乎必然收敛)就不涉及。（2）相合性本身不能说明估计达到某一可靠度时，要求样本容量至少为多少。（3）对同一参数而言，满足相合性的估计也许有多个。（4）在一定的条件下，可以证明频率替换估计，矩估计，极大似然估计都是相合估计。对于(3)，当存在多个相合估计时，关于它们的优劣往往可通过比较其渐近分布的渐近方差的大小来进行，定义4.9的估计序是设)(),,(ˆ)(ˆ1qXXqXqnnn),()(2nn和如果存在数列,2exp21)()()(ˆlim2xnnnnduuxXqP都有对任意实数，x最常用的渐近分布是正态分布。简记为),1,0()()()(ˆNXqLnnn列，)(ˆXqn记为～)).(),((2nAN具有则称)(ˆXqn(AsymptoticNormality)渐近正态性,)()(ˆqXqn是也称渐近正态估计，(AsymptoticnormalEstimate)(AsymptoticMean)为其称)(n渐近均值，为其称)(2n渐近方差。(AsymptoticVariance)的注意：是不唯一的。和定义中)()(2nn因满1)(~)(limnnn足和0)(~)(~)()(limnnnnn的任意序列也能使定义的条件成立。)(~)(~2nn和这说明渐近正态性并不能确定用))(/))(((nnx近似概率})(ˆ{xXqPn达到某精度时样本容量必须至少是多少。n一般情形下，)).(ˆ()())(ˆ()(2XqVarXqEnnnn，可取对频率替换估计，),,0(),,(,,211hLkkNpphnnnnhn.)()(21122kiiikiiihpphppphp有连续偏导数，则若)(ph其中在Hardy-Weinberg模型中,例如4.12.2ˆ,1ˆ,ˆ2133211nnnnnnnn都是相合估计，,2,1,2133211pphphph频率替换估计的三个它们相应的函数为究竟哪个最优呢？正态分布的方差。比较其渐近从而有),,0(ˆ2iLiiNhn其中),1(41221nn))1(1(41222nn).1(2123nn比较这三个渐近方差，可知最小，n23因此可以认为是的较好估计，nnnn2ˆ213实际上是的MLE。3ˆ注：在一定的条件下，可以证明矩估计，极大似然估计也具有渐近正态性。