10.1 非参数bootstrap方法

第十章boots七rop方诧第一节非参数bootstrap方法—、估计量的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 误差bootstrap估计二、估计量的均方误差及偏差的bootstrap估计三、bootstrap置信区间四、用bootstrap-（法求均值涮bootstrap的置信区间五、小结概率诰鸟做理统计（第彳版丿妙^.bootstrapf主设总体的分布F未知，但已经有一个容量为〃的来自F的数据样本,自这一样本按放回抽样的方法抽取一个容量为〃的样本，这种样本称为bootstrap样本或自助样本・相继地、独立地自原始样本中取出很多个bootstrap样本，利用这些样本对总体F进行统计推断,这种方法称为非参数bootstrap方法，又称自助法.妙^bootstrap住—、估计量的标准误差bootstrap估计在估计总体未知参数0时：给出e的估计㊂的同时还要指出这一估计$的精度；用估计量◎的标准差©=、血厉来度量估计的精度.估计量0的标准差可也称为估计量0的标准误差.妙^bootstrap住设X],X?,X“是来自以F（兀）为分布函数的总体的样本，0是我们感兴趣的未知参数，用0=0（笛,乂2厂・,乙）作为&的估计量应用中0的抽样分布很难处理,标准差无法用一个简单的表达式给出,但可以用计算机模拟的方法来求得鳥D@）的估计.妙^.bootstrapf主自F产生很多容量为〃的样本，对每个样本计算$的值，得玄，玄,…，久，则、丽5可以用1B1B其中歹二耳£&，然而F常常是未知的，Bi=i设F未知，兀”2,…，兀“是来自F的样本值，代是相应的经验分布函数.当兀很大时，代接近F.以代代替F,在代中抽样，得到一个容量为〃的辎^.bootstrap竺样杓;，兀;，…，兀:.这就是bootstrap样本.计算估计荻兀I，®…，兀“）那样求出刪估计0=0（兀;，兀;，…，兀；），估计歹称为0的bootstrap估计.相继地、独立地抽得〃个bootstrap样本，以这些样本分另9求出0的bootstrap估计如下：bootstrap样本1兀；】，兀；】，…，兀；】，bootstrap4古计$；bootstrap样本2x1\x2\-^xll2^bootstrap估计$；TOC\o"1-5"\h\z•♦•••••••bootstrap样本BxtB^x2B，…，兀:"^bootstrap7!#计玄10<1眇^.bootstrap性10<1眇^.bootstrap性则祸标准误差B£（Di=l、JD@）就是bootstrap的估计•求、JZ>@）即bootstrap的估计的步骤是1°自原始数据样本X：=（兀1，兀:，…/〃）按放回抽样的方法抽得容量为t的样本兀"=（兀二易…/：）（称为bootstrap样本）妙^.bootstrapf主2°相继地、独立地求出〃个（〃>1000）容量为n的bootstrap样本，x'=（x1Sx2z<->x/z/）?i=l，2，.，B・对于第Z个bootstrap样本，计算01=0（“，兀2'，…，兀/），（0；称为0的第i个bootstrap的估计;）B3°计算内=右工（DD—丄1=11B其中咔氛10<1眇^.bootstrap性10<1眇^.bootstrap性10.1妙^.bootstrap住例1某种基金的年回报率是具有分布函数F的连续型随机变量，F未知，F的中位数陡未知参数.现有以下的数据（％率）18.29.512.021.110.2以样本中位数作为总体中位数0的估计，试求中位数估计的标准误差的bootstrap估计.解将原始样本自小到大排序，中间一个数为12.0,相继地、独立地在上述5个数据中，按放回抽样的方法取样,取〃=10得到下述10个bootstrap样本:样本19.51&212.010.218.2样本221.21&212.09.510.2样本321.110.210.212.010.2样本418.212.09.518.210.2样本521.112.018.212.018.2样本610.210.29.521.110.2样本79.5:21.112.010.212.0样本810.21&210.221.121.1样本910.210.21&218・218.2样本101&210.218.210.210.2妙^.bootstrapf主对以上每个bootstrap样本,求得样本中位数分别为0=12.00=12.00=10.20=12.00=18.2^=10.20=12.0成=1&20=18.2^=10.2以原始样本确定的样本中位数0=12.0作为总体中位数附估计,其标准误差的bootstrap估计为1io辽@；_护）2=3.4579.9r=l10.1妙^.bootstrap住10<1眇^.bootstrap性二、估计量的均方误差及偏差的bootstrap估计设X=（X1,兀,）是来自总体F的样本，F未知虫=R（X）是感兴趣的随机变量，它依赖于样本X.按照上面所说的三个步骤1°,2°,3°进行,只是在2°中对第i个bootstrap样本无；=（兀；，，无；，，…，兀：*'）,计算&=人（兀；）代替计算船且在3。中计算感兴趣1B的人的特征.民（疋）=££疋Bi=i■・例2设金属元素舗的升华热是具有分布函数F的连续型随机变量,F的中位数魏未知参数，现测得以下的数据(以kcal/加oZ计)136.3136.6135.8135.4134.7135.0134.1143.3147.814&8134.8135.2134.9149.5141.2135.4134.8135.8135.0133.7134.4134.9134.8134.5134.3135.2以样本中位数M=M(X)作为总体中位数0的估计,试求均方误差MSE=E[(M-0)勺的bootstrap估计.解将原始样本自小到大排序，左起第13个数为135.0,左起第数为135.2,于是样本中位数为1(135.0+135.2)=135.1.2以135.1作为总体中位数0的估计，即4=135.1.^R=R(X)=(M-0)2.需要估计&X)的均值E[(M-歼]・相继地、独立地抽取1000吟样本如下：样本1133.2134.1134.1134.1134.9135.0135.2135.2136.3136.6136.6141.2得样本中位数为1353样本10000134.5134.9135.8134.5134.9136.6134.5134.8134.9135.4得样本中位数为134.910.1妙Jxbootstrap性10.1妙Jxbootstrap性146.5146.5147.8148.8146.5146.5147.8148.8134.8134.8134.8134.9134.9135.4135.4135.8135.8136.3143.3143.3147.814&8134.7134.8134.8134.8134.8134.9135.0135.4135.4135.410<1眇^.bootstrap性10.1妙^bootstrap对于第i个样本计算疋=人(八)=(m；一©)2qM；-135.1)2,i=l,2,,1000ft对于样本1(M；-135・1)2=(135・3-135.1)2=0.04,TOC\o"1-5"\h\z••••••对于样本10000(M；。。。。一135.1)2=(134.9一135.1)2=0.04,用这10000个数的平均值[10000y(M；-135.1)2=0.0710000台I近似E[(M-0)2],既得MSE[(M-0)2]的bootstrap估计为0・07・10.1妙^bootstrap住例3设X=（X],X2,…,X』是来自总体F的样本，0=欲X\,X“…,XJ是参帥的估计量e的估计朕于0的偏差定义为b=£佰一0）=£@）_0・当魏0的无偏估计时方=0.试在例2中，以样本中位数M=M（X）作为总体F的中位数0的估计，求偏差方=E（M一0）的bootstrap估计.由例2知原始样本的中位数为135丄以135.1作为总体中位数=0的估计，即0=135.1,^R=R(X)=M-0,需要估计人(X)的均值E(M_0).对于例2中第i个样本计算R；=R(h9=(M；-0)=(M；-135.1),1=1,2,91000ft即有对于样本1(M；-135.1)=0.0210.1妙^.bootstrap竺•寸0.0H-450000100001L、7正00001asdmw00001dEhslooq爼0糰煙帚^^纹治^報幺0001^『取zo・o—HI.SEI117V000014址卜权«三、bootstrap置信区间设X=（X],蜀,…X“）是来自总体F容量为n的样本，兀=（石,兀2，…，兀“）是一个已知的样本值F中含有未知参数0,0=0（X],耳,…,X』是0的估计量现在来求昭置信水平为1-册置信区间.相继地、独立地从样本r=（x19x2<-•，兀J中抽出B个容量为比的bootstrap样本,对于每个bootstrap样本求出來^bootstrap估计:Jv^v沃<(誓<(沃<(叙匸J'g朶ZV哑追金卜S爲S禺Qx)M-H叹点百爲特4爲(X)MH(J)nnss£f・："€3吃・惡畔來鼠厶6E4wr戏Mdo」4s4ooq関腆荃l・ol10.1妙^.bootstrapf主10.1妙^.bootstrapf主10<1眇^.bootstrap性，叹1=Bx—，k2=Bx\l2—,arL2式中以£）和彳：2）分别作为分位数C2,Ca2的估计，得到近似等式P{0；ki）<0<0；k2）}=l-a由上式就得到0的置信水平为1_a的近似置信区间:恣）血））这一区间称为砒置信水平为1一bootstrap置信区间这种求置信区间的方法称为分位数法.例4在例2中⑴以样本中位数作为总体中位数0的估计求0的置信水平为0・95的bootstrap的置信区间;(2)以样本20%截尾均值作为总体20%截尾均值角的估计，求曲的置信水平为0.95的bootstrap置信区间.解n=26,B=10000,原始样本以及10000个模拟bootstrap样本见例2.(1)对于每一个bootstrap样本算出中位数M：，•(qo・s2qo・3ii1L6S盒s)术亘凶业MdEiQ■OS卜6H*00HB*6.0"311・0000TT■0SZH丄X0000Iso.oxoilN*:VIVI(0SL6)Jvvl(oszwvl・：vl(z¥鼠购畋館*帚三血显溟宪・1¥•:止找MQOJ4S4OOCI覗腆荃l・ol10.1妙Jxbootstrap性10.1妙Jxbootstrap性10<1眇^.bootstrap性■・(2)对于例2中的10000个bootstrap^本中的每一个算出样本20%截尾均值:无/1，兀/29…，兀"0000,将它们自小到大排序得到平/V//V/平//平Xt(l)—Xt(2)—••—£(250)—兀(251)—••—£(9750)_半_半—X/(9751)<・••<(10000).按分位数法得到20%截尾均值的_个置信水平为0・95的bootstrap置信区间为(无“250)，兀“9750))=(134.85,136.92)例5有30窝仔猪出生时各窝猪的存活只数为981012111279118977897991099912101091311139以样本均值x作为总体均值“的估计，以样本标准差£作为总体标准差b的估计，按分位数求法求“以及cr的置信水平为0・90的bootstrap置信区间.解相继地、独立地自原始样本数据用放回抽样的方法：得到lOOOCFb容量为30的bootstrap样本：分0・6H(00疋求妲005<^咽吹转*鼠厶、m叢幺ooo屋eooor:.ZIHgv迪盘4址卫*4^dEis」ooq<舅T菽6ZImII666=00601ZIS01ZI=EI66L01卜6卜6OILOI6000014址••••••QC0I卜66:IQC0I666口01=600016ZZI01:1=m:I荃划恋dQJ4s4ooq関啖0L・OL10.1眇痞嶷booizstfop方住左起第9500位为无;95oo)=10.038.于是得“的_个置信水平为0.90的bootstrap置信区间为(兀(500)，—❖兀(9500))=(9.03,10.038)对上述10000个bootstrap样本的每一个算出标准S；(心1,2,…,10000),将1000叽；按自小到大排序左起第500位为£：5oo)=1・35,左起第9500位为£；9500)=1.98,得來|一个置信水平为0・90的bootstrap置信区间为($(500)9*9500))=(1・35，1.98)10<1眇^.bootstrap性10<1眇^.bootstrap性考虑函数X-jLL考虑函数X-jLL四、用bootstrap-1法求均值“的bootstrap的置信区间设X=（X],禺…,）是来自总体F的容量为兀的样本,兀=兀（兀1，兀2八・，兀“）是一个样本值・均值“和方差b?均为未知参数，利用样本值X来估计“・10.1眇痞嶷booizstfop方竺假设总体F具有正态分布，此时t的分布与参数“无关，是一个枢轴量而且有/~心-1),利用枢轴量/,就能求得“的置信区间•总体F不具有正态分布，可询仍是一个枢轴量•然而t的分布就不是t(n-1)分布，就不能按第七章的方法求得“的置信区间，用bootstrap方法来求“的近似置信区间.以原始样本x=(兀］，兀2,…，兀“)的样本均值x=-Vxz作为“的估计,考虑与t相应的枢轴量V————卜—Vzd"d"z它锁$卜s•柴4盘点首特金爲来Al畋・盘4#dEislooq爲燈無sl^w术灵金Iix找MQOJ4S4OOCI覗腆荃l・ol10・」益淋炸boortstropwri;p(xI2尔APAXIBp十一HlIa^msB>bootsfrapM砂宁里片苹细%*佚m(l)IAE(2)叭：IAm&)10<1眇^.bootstrap性10<1眇^.bootstrap性10.1妙^.bootstrap住以曲1）和瓦2）分别作为分位数虻2，a2的估计，得到近似等式-无2）卓<“vX_%）-^=\=l-a得到置信水平为1_a的bootstrap置信区间这一方法称为bootstrap-/法.■・例6在例5中用bootstrap-/法求“的置信水平为0・90的置信区间解原始样本以及10000个模拟bootstrap样本见例5・在原始样本中畀=30,x=9.53,s=1.72,s2=2・95・对于第i个(i=1,2,••>10000=B)bootstrap样本,求出它的均值疋;和样本标准鬆；，从而得到/的第i个值—半_水X•—X◎=:，‘l,i=1,2,•••,10000dn其中元是由原始样本确定的样本均值・将自小到大排序得旨***a＞（i）＜a）（2）—・••＜^（ioooo）取置信水平1一a—0・90,此时a=0.10,a/2=0.05,1—all=0.95,=9500,得®5oo）=-1-7813,fi＞（95oo）=1・6299,10<1眇^.bootstrap性得到“的置信水平为0.90的bootstrap-(置信区间为(9・53-l・6299x苇9・53+l・7813x目|)=(9.0182,10.0894)用非参数bootstrap法来求参数的近似置信区间的优点是，不需要对总体分布的类型作任何的假设，而且可以适用于小样本，且能用于各种统计量(不限于样本均值).10.1妙^.bootstrapf主以上介绍的bootstrap方法，没有假设所研究的总体的分布函数F的形式,bootstrap样本是来自已知的数据（原始样本），所以称之为非参数bootstrap方法.五、小结1•估计量的标准误差bootstrap估计2•估计量的均方误差及偏差bootstrap估计3.bootstrap置信区间4•用bootarap-/法求均值“的bootstrap的置信区间