6.1点估计极大似然估计

6.1点估计极大似然估计参数估计参数是刻画总体某方面概率特性的数量. 当此数量未知时,从总体抽出一个样本，用某种方法对这个未知参数进行估计就是参数估计. 例如，X~N( , 2), 若,  2未知, 通过构造样本的函数, 给出它们的估计值或取值范围就是参数估计的内容. 点估计区间估计参数估计的类型点估计 —— 估计未知参数的值区间估计—— 估计未知参数的取值范围，并使此范围包含未知参数真值的概率为给定的值. 注：F(x...

参数估计参数是刻画总体某方面概率特性的数量. 当此数量未知时,从总体抽出一个样本，用某种方法对这个未知参数进行估计就是参数估计. 例如，X~N( , 2), 若,  2未知, 通过构造样本的函数, 给出它们的估计值或取值范围就是参数估计的内容. 点估计区间估计参数估计的类型点估计 —— 估计未知参数的值区间估计—— 估计未知参数的取值范围，并使此范围包含未知参数真值的概率为给定的值. 注：F(x;)也可用概率分布或密度函数代替. 定义设X1,… ,Xn是总体X的一个样本，其分布函数为 F(x;)，其中为未知参数, 构造统计量 (X1,… ,Xn)作为参数的估计,则称 (X1,… ,Xn)为的点估计量，若(X1,… ,Xn) 的观测值为(x1,… ,xn)，则称 (x1,… ,xn)为的点估计值。 ˆ ˆ ˆ 由于 (X1,… ,Xn) 是实数域上的一个点，现用它来估计，故称这种估计为点估计。点估计的经典方法是矩估计法(ME)与极大似然估计法 (MLE)。 ˆ T k ),,,( 21  设总体X的分布函数为F(x, ), 为k维未知参数,并设随机变量X的k阶矩存在，即 ki ,,2,1  1 2( ) ( , , , ) i i i kv E X v     存在, 其基本思想是：以样本矩（函数）代替相应的总体矩（函数）。（替换原理）矩估计是1900年英国统计学家K. Pearson 提出的一种统计方法. 取样本的k阶原点矩作为总体X的k阶原点矩的估计量，即 1 1 ˆ , 1,2, , k k i i i v X i k n    1 1 2 1 2 2 1 2 1 1 2 1 1 ( , , , ) 1 ( , , , ) 1 ( , , , ) i n k i i n k i i n k k k i v X n v X n v X n                           上述方程组的解即为参数 的矩估计，记为 ˆME 注1.用样本矩作为总体同阶矩的估计，即 1 1ˆ = . n k k i i EX X n       2 2 2 2 1 1ˆ ˆ ˆ ˆ, n i i EX X DX E X EX X X n      如：注2.约定：若是未知参数的矩估计，则g() 的矩估计为g( ).     例1：设X1,… ,Xn为取自总体B(1,p)(两点分布)的样本，其中00，试求 的矩估计. ),( 2N例3：设X1,… ,Xn为取自总体的样本，求参数的矩估计。 2, 2 2 1 1 ˆ ˆ ( ) n i i X X X n       ^ ^ 14. ~ ( , ) , , , , .nX U a b X X a b a b例总体，是来自总体的样本求和解: 21( ) ( ) ( ) 2 12 a b E X D X b a     2 2 1 2 ( ) 1 ( ) 12 n i i a b X b a X X n          2 1 2 1 3 ( ) 3 ( ) n i i n i i a X X X n b X X X n                  极大似然估计最早是由高斯1821年提出的，但一般将之归功于英国统计学家R.A.Fisher，因为R.A.Fisher在1922年再次提出极大似然估计，并证明了极大似然估计的一些性质，使得极大似然估计得到了广泛的应用。极大似然思想假如甲乙两人仅对目标各射击了一次，结果甲击中，而乙未击中目标。请问谁的水平高？有两个射手，一人的命中率为0.9,另一人的命中率为0.1, 现在他们各向目标射击了一发，结果命中了一发，谁射中的？甲的技术好于乙。这虽有片面性，但显然是合理的又如一件事件A发生的概率为0.1或0.9，仅作一次试验，结果事件A发生了，自然认为事件A发生的概率为0.9，而不是0.1。基于上述基本思想，引入极大似然估计。一般说，事件A发生的概率与参数有关， 取值不同，则P(A)也不同。因而应记事件A发生的概率为P (A).若 A发生了，则认为此时的值应是在中使P (A)达到最大的那一个。这就是极大似然思想. 发生的概率为 ( , )p x 若总体X是离散型随机变量，概率函数为 nXXX ,,, 21 为待估参数. 为来自总体的样本， nxxx ,,, 21  是样本的观察值， },,,{ 2211 nn xXxXxX  则事件    1 2 1 1 2 2 1 ( , , , ; ) , , , ( ; ) n n n n i i L L x x x p X x X x X x p x            (1) 离散型随机变量 2. 连续型随机变量若总体X是连续型的，其概率密度为 ( , ),f x  ( ; )i if x x 的概率近似为 ,则落在点邻域内的概率近似为 1 ( ; ) n i i i f x x    取 1 2 1 ( ) ( , , , ; )= ( ; ) n n i i L L x x x f x      nXXX ,,, 21 为未知参数. 为来自总体的样本， nxxx ,,, 21  是样本的观察值，则落在的邻域内 iX ix nXXX ,,, 21  n xxx ,,, 21  ( )ix  与无关是  1 2( )= ( , , , ; )nL L x x x 的函数，称为样本的似然函数. ˆ( ) max ( )L L  由上面的讨论，在 k ,,, 21  取值的可能范围内，应选择使概率 ( )L  达到最大的作为的估计， ( )L   这样得到的 ˆ 与样本值有关， 1 2 ˆ ˆ( , , , )nx x x  称为参数的极大似然估计(MLE)，相应的统计量为 1 2 ˆ ˆ( , , , )nX X X   (1) 写出似然函数    n i in xfxxLL 1 1 );();,,()(   (2)求对数似然函数 1 ( ) ln ( ) ln ( ; ) n i i l L f x      (3) 列似然方程, 令 [ln ( )] 0 d L d    求极大似然估计的步骤 (4)求出即为    1 ˆ ˆ ( , , )MLE MLE nX X  特别地，若似然函数中含有多个未知参数，则可解方程组       1 2 ^ ln ln ln 0, 0, 0, , 1, , . k ii L L L MLE i k                  得出即为   1 2( , , , )kL L    例5.设X1,… ,Xn为取自参数为的泊松分布总体的样本，求的极大似然估计解:          n i i n x n i i xn i i x e e x xXPL n i i i 1 11 ! ! )()( 1      1 [ln ( )] 1 0 n i i d L x n d        1 1 ln ( ) ln ln( !) n n i i i i L x n x            n i ix n 1 1  ˆ X  的极大似然估计。 2, 解:         n i x n i i i e xfL 1 2 2 1 2 2 ),;(),( 2 2     ),( 2N例6：设X1,… ,Xn为取自总体的样本，求参数     2 2 1 2 2 2 2 1 ),(         i n i x n n eL   2 2 2 2 1 ln ( , ) ln(2 ) ln 2 2 2 n i i xn n L            令   2 2 1 2 2 2 2 4 1 ln ( , ) 1 ( ) 0 ln ( , ) 1 0 2 2 n i i n i i L x L n x                             2 1 2 1 )( 1 , 1    n i i n i i xx n xx n  2 1 2 )( 1 ,     n i i XX n X  为的极大似然估计. 2,   1 ( ; ) 1 , 0,1, x xP x p p p x    例7：设总体的概率分布为若样本观测值为，求p的最大似然估计量 1 2, , , nx x x

                    本文档为【6.1点估计 极大似然估计】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
                    图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。 
 该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。

                    [版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。

                    本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。

                    网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
                

下载需要：免费已有0 人下载

立即下载

6.1点估计 极大似然估计

你可能还喜欢

6.1点估计极大似然估计