极大似然估计法.

极大似然估计法. 《概率论与数理统计》 极大似然思想 ,,,,一般地说，事件与参数有关，取值不同，则也不同(若AP(A) ,,发生了，则认为此时的值就是的估计值(这就是极大似然思想(看A 一例子 :例,、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P( 分析:易知P的值无非是1/4或3/4(为估计P的值，现从袋中有放回地任取3只球，用X 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 示其中的黑球数，则(按极大似然X~b(3,P) P估计思想，对的取值进行估计( PX解:对的不同取值，取的概率可列表如下: k,0,1,2,3 X , , , , 1272791P, 464646464 3927271P, 464646464 1,,k,0,1,4ˆ故根据极大似然思想即知:( P,,3,k,2,3,4, P在上面的例子中，是分布中的参数，它只能取两个值:1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4(在给定了样本观测 P值后去计算该样本出现的概率，这一概率依赖于的值，为此需要用1/4、 P3/4分别去计算此概率，在相对比较之下，哪个概率大，则就最象那个( 二、似然函数与极大似然估计 1、离散分布场合: ,X设总体是离散型随机变量，其概率函数为p(x;,)，其中是未知 XX,X,？,XX,X,？,X参数(设为取自总体的样本(的联合概率函12n12n 1 n ,数为，这里，是常量，是变量( X,X,？,Xp(X;,)12ni,i,1 若我们已知样本取的值是，则事件x,x,？,x12n n ,发生的概率为(这一概率随的{X,x,X,x,？,X,x}p(x;,)1122nni,i,1 值而变化(从直观上来看，既然样本值出现了，它们出现的x,x,？,x12n n ,概率相对来说应比较大，应使取比较大的值(换句话说，应p(x;,)i,i,1 ,使样本值的出现具有最大的概率(将上式看作的函数，并用x,x,？,x12n 表示，就有: L(,) n (,) L,(),L(x,x,？,x;,),p(x;,)12,ni,1i ,,称为似然函数(极大似然估计法就是在参数的可能取值范围内，L(,) ˆ,,,选取使达到最大的参数值，作为参数的估计值(即取，使L(,) ˆL,(),L(x,x,？,x;,),maxL(x,x,？,x;,) (,) 12n12n,,, ,因此，求总体参数的极大似然估计值的问题就是求似然函数L(,) ,dL(),0的最大值问题(这可通过解下面的方程 (,) d, ,lnLLlnLL来解决(因为是的增函数，所以与在的同一值处取得最大值(我们称为对数似然函数(因此，常将方程(,)写成: l(,),lnL(,) ,dLln(),0 (,) d, ˆ,,方程(,)称为似然方程(解方程(,)或(,)得到的就是参数的极大似然估计值( 2 如果方程(,)有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值(有时，直接用(,)式行不通，这时必须回到原始定义(,)进行求解( ,、连续分布场合: 设总体是连续离散型随机变量，其概率密度函数为，若取Xf(x;,)得样本观察值为，则因为随机点取值为x,x,？,x(X,X,？,X)12n12n n 时联合密度函数值为(所以，按极大似然法，应(x,x,？,x)f(x;,)12n,ii,1 ,选择的值使此概率达到最大(我们取似然函数为 n ,，再按前述方法求参数的极大似然估计值( L(,),f(x;,),i,1i 三、求极大似然估计的方法 1、可通过求导获得极大似然估计: 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值( 例,、设某工序生产的产品的不合格率为p，抽个产品作检验，n Tp发现有个不合格，试求的极大似然估计( XXp分析:设是抽查一个产品时的不合格品个数，则服从参数为 X,X,？,X的二点分布(抽查个产品，则得样本，其观察值为nb(1,p)12n TTx,x,？,xx,x,？,x，假如样本有个不合格，即表示中有个取值为12n12n n,Tp,，个取值为,(按离散分布场合方法，求的极大似然估计( n1,xxii解:(,)写出似然函数: L(p),p(1,P),,1i L(p)l(p)(,)对取对数，得对数似然函数: 3 nn l(p),[xlnp，(1,x)ln(1,p)],nln(1,p)，x[lnp,ln(1,p)],,iii,1,1ii (,)由于对的导数存在，故将对求导，令其为,，ppl(p)l(p) nndl(p)n11n1得似然方程: ,,，x(，),,，x,0ii,,dp1,pp1,p1,pp(1,p)i,1i,1 n1(,)解似然方程得: ˆp,x,x,in,1i 2dl(p)(,)经验证，在时，，这表明可使似然函数ˆˆ,0p,xp,x2dp 达到最大 (,)上述过程对任一样本观测值都成立，故用样本代替观察值便 的极大似然估计为:ˆ 得pp,X Tˆp,x,将观察值代入，可得的极大似然估计值为:，其中pn n ( T,x,i,1i LX若总体的分布中含有多个未知参数,,,,？,,时，似然函数是12k L(,,？,,)这些参数的多元函数(代替方程(,)，我们有方程组1k ,(lnL)ˆˆˆ,0(i,1,2,？,k)，由这个方程组解得分别是参数,,？,,,,12k,,i ,,,,？,,的极大似然估计值( 12k 例,、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从 222n,100，其中未知(为估计，从中随机抽取根轴，N(,,,),,,,,, 2x,x,？,x测得其偏差为(试求的极大似然估计( ,,,12100 分析:显然，该问题是求解含有多个(两个)未知参数的极大似然 4 2估计问题(通过建立关于未知参数的似然方程组，从而进行求解( ,,, 解:(,)写出似然函数: n2,()x,i,2,()x,n1,iin,,,12222,22,2 L,(,,)e(2,,)e,,,2,,1i, (,)写出对数似然函数: 2nn122 l(,,,),,ln(2,,),(x,,),i222,,i1 22(,)将分别对求偏导，并令它们都为,，得似然方,、,l(,,,) 2n,,,,l(,)12,,,,(x)0,i,2,,,,i,1程组为: ,2n,,,l(,)n12,,,，(x,,),0,i224,,22,,,i,1, (,)解似然方程组得: n122ˆˆ， ,,(x,x),,x,in,1i 22ˆˆ(,)经验证使达到极大， ,,,l(,,,) (,)上述过程对一切样本观察值成立，故用样本代替观察值，便 2得的极大似然估计分别为: ,,, n1222ˆˆ，( ,,(X,X),S,,X,inn,i1 ,、不可通过求导方法获得极大似然估计: 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义(,)出发直接求L(,)的极大值点( XnU(0,,)例4、设总体服从均匀分布，从中获得容量为的样本 5 ,，其观测值为，试求的极大似然估计( X,X,？,Xx,x,？,x12n12n ,分析:当写出其似然函数时，我们会发现的非零区域与有L(,)L(,) ,关，因而无法用求导方法来获得的极大似然估计，从而转向定义(,)直接求的极大值( L(,) 解:写出似然函数: ,n,,xx,,0,,,(1)(n) L(),,,0,其它场合, ,,为使达到极大，就必须使尽可能小，但是不能小于，因xL(,)(n),,而取时使达到极大，故的极大似然估计为: xL(,)(n) ˆ( ,,X(n) ˆ进一步，可讨论估计,的无偏性: 由于总体，其密度函数与分布函数分别为: X~U(0,,) 0,x0,,1,,x,,0,,x,ˆ,(),pxF(x),0x,,,，，从而,,X的概率密度函数,,,(n),,,0,其它,1,x,,, n,1nyn,1p,n[F(y)]p(y),,0,y,,为: ˆn,, n,,nynˆE()E(X)yp(y)dydy,,,,,,,, ˆ()nn,,,00n1，, ˆˆ,,,,,X这说明的极大似然估计不是的无偏估计，但对作一修正可(n) n，1ˆ,,,X得的无偏估计为:( 1(n)n 通过修正获得未知参数的无偏估计，这是一种常用的方法(在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计( 6 综上，可得求极大似然估计值的一般步骤( 四、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数(或联合密度); 2、把样本联合概率函数(或联合密度)中自变量看成已知常数，而 ,把参数看作自变量，得到似然函数; L(,) 3、求似然函数的最大值点(常转化为求对数似然函数的最L(,)l(,)大值点); 4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值( 五、极大似然估计的不变性 ,求未知参数的某种函数的极大似然估计可用极大似然估计的g(,) 不变原则，证明从略( ˆ,,定理(不变原则)设,是的极大似然估计，是的连续函数，g(,) ˆ则的极大似然估计为( g(,)g(,) ,例5、设某元件失效时间服从参数为的指数分布，其密度函数为 ,,x,，未知(现从中抽取了个元件测得其失效时间为nf(x;,),,e,x,0 ,x,x,？,x，试求及平均寿命的极大似然估计( 12n ,X分析:可先求的极大似然估计，由于元件的平均寿命即为的期 1,E(X),望值，在指数分布场合，有，它是的函数，故可用极大似然, 估计的不变原则，求其极大似然估计( nn,x,i,,xn,,1iiL(,),e,e解:(,)写出似然函数: ,,,1i, n (,)取对数得对数似然函数: l(,),nln,,,x,i,1i 7 n,dl()n,(,)将对求导得似然方程为: l(,),,x,0,i,,di,1 n1ˆ(,)解似然方程得: ,,,nxx,i,1i ˆ经验证，能使达到最大，由于上述过程对一切样本观察值成,l(,) 1ˆ,立，故的极大似然估计为:; ,,X 根据极大似然估计的不变原则，元件的平均寿命的极大似然估计为: 1()EX,,X( ˆ, 五、小结 1、极大似然估计的思想; 2、求解未知参数极大似然估计的一般步骤; 3、极大似然估计的不变原则( 8 书中横卧着整个过去的灵魂——卡莱尔 人的影响短暂而微弱，书的影响则广泛而深远——普希金 人离开了书，如同离开空气一样不能生活——科洛廖夫 书不仅是生活，而且是现在、过去和未来文化生活的源泉 ——库法耶夫 书籍把我们引入最美好的社会，使我们认识各个时代的伟大智者———史美尔斯 书籍便是这种改造灵魂的工具。人类所需要的，是富有启发性的养料。而阅读，则正是这种养料———雨果