第四章__极大似然估计

第四章 极大似然估计 第一节 引言 考虑 ARMA模型： 1 1 2 2 1 1.... ...t t t p t p t t q t qY c Y Y Yφ φ φ ε θ ε θ ε− − − − −= + + + + + + + + （1） 其中 ( )20,t WNε σ∼ 。前面我们假定知道总体参数 ( )21 1, ,..., , ,..., ,p qc φ φ θ θ σ ， 此时利用过程（1）进行预测。 本章我们要研究在仅能观测到 Y 的情况下，如何估计 ( )21 1, ,..., , ,..., ,p qc φ φ θ θ σ 。 估 计 方 法 为 极 大 似 然 估 计 。 令 ( )21 1, ,..., , ,..., ,p qc φ φ θ θ σ=θ 表示总体参数向量。假定我们观察到一个样本 量为T的样本 ( )1 2, ,..., Ty y y 。计算所实现样本的联合概率密度函数： ( ) 1 1, ,..., 1 1 , ,..., T TY Y Y T T f y y y θ− − （2） 这可以看作是观察到样本发生的概率。使得“概率”最大的θ值就是 最优估计。这种思想就是极大似然估计的思想。极大似然估计需要设 定白噪声的分布。如果 tε 是高斯白噪声，则得到的函数为高斯似然函 数。 极大似然估计的步骤： 1） 计算似然函数（2）。 2） 利用求极大值方法求使得函数值最大的θ值。 第 2 节 高斯 ( )1AR 过程的似然函数 一．计算高斯 ( )1AR 过程似然函数 高斯 ( )1AR 过程的表达式为 1t t tY c Yφ ε−= + + （3） 其中 ( )20,t iidNε σ∼ 。总体参数向量为 ( )2, ,cθ φ σ= 。 观 察 值 1Y 的 均 值 和 方 差 分 别 为 ( ) ( )1 / 1E Y cµ φ= = − 和 ( ) ( )2 21 / 1E Y µ σ φ− = − 。因为 ( )20,t iidNε σ∼ ，因此 1Y也是高斯分布。其概 率密度函数为 ( ) ( ) ( ) ( ){ } ( )1 1 2 12 1 1 22 / 11; ; , , exp 2 / 12 / 1 Y Y y c f y f y c φθ φ σ σ φπ σ φ ⎡ ⎤− − −⎡ ⎤⎣ ⎦⎢ ⎥= = ⎢ ⎥−− ⎢ ⎥⎣ ⎦ （4） 对于第二个观察值在观察到 1 1Y y= 条件下的分布。根据（3）， 2 1 2Y c Yφ ε= + + （5） 此时 ( ) ( )( )22 1 1 1 ,Y Y y N c yφ σ= +∼ ，其概率密度函数为 ( ) ( ) 2 1 2 2 1 2 1 22 1; exp 22 Y Y y c y f y y φθ σπσ ⎡ ⎤− − −= ⎢ ⎥⎢ ⎥⎣ ⎦ （6） 此时观察值 1Y和 2Y 的联合密度函数就是（4）和（6）的乘积： ( ) ( ) ( ) 2 1 12 1, 2 1 2 1 1 , ; ; ;Y Y YY Yf y y f y y f yθ θ θ= （7） 同样 ( ) ( ) ( ) 3 2 1 3 21 2 3 2 3 2 1 3 2, 22 1, ; ; exp 22 Y Y Y Y Y y c y f y y y f y y φθ θ σπσ ⎡ ⎤− − −= = ⎢ ⎥⎢ ⎥⎣ ⎦ （8） ( ) ( ) ( ) 3, 2 1 2 13 2 1, 3 2 1 3 2 1 , 2 1, , , ; , ; , ;Y Y Y Y YY Y Yf y y y f y y y f y yθ θ θ= （9） 一般情况下， ( ) ( ) ( ) 1 1 11 1 1,..., 2 1 22 ,..., ; ; 1 exp 22 t t t tt t t tY Y Y Y Y t t f y y y f y y y c y θ θ φ σπσ − −− − − = ⎡ ⎤− − −= ⎢ ⎥⎢ ⎥⎣ ⎦ （10） 则前 t个观察值的联合密度为 ( ) ( ) ( ) , 1 1 1 11,...., 1 1 1 ,..., 1 1 , ,..., ; ; ,...., ; t t tt tY Y Y t t t t Y Y tY Y f y y y f y y f y yθ θ θ− −−− − −= （11） 则完全样本似然函数为 ( ) ( ) ( ) , 1 1 1 1,...., 1 1 1 1 2 , ,..., ; ; ; T T t t T Y Y Y T T Y t tY Y t f y y y f y f y yθ θ θ− −− −== ∏ （12） 进行对数变换，得到对数似然函数 ( )L θ ： ( ) ( )( ) ( )1 11 1 2 ln ; ln ; t t T Y t tY Y t L f y f y yθ θ θ − −= ⎡ ⎤= + ⎣ ⎦∑ （13） 将（4）和（10）代入（13），得到 ( ) ( ) ( ) ( ) { } 2 12 22 2 2 12 2 2 11 1ln 2 ln 22 2 1 1 1 1 ln 2 ln 2 2 2 T t t t cy L y c yT T φσθ π σφ φ φπ σ σ − = ⎧ ⎫−⎨ ⎬⎛ ⎞ −⎩ ⎭= − − −⎜ ⎟−⎝ ⎠ − − −− −− − −∑ （14） 二．似然函数的矩阵表示 观察值写成向量形式为： ( )1 2 1 , ,..., T T y y y y × ′= （15） 可以看作是T为高斯分布的单个实现。其均值为 ( ) ( ) ( ) 1 2 T E Y E Y E Y µ µ µ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎣ ⎦⎣ ⎦ # # （16） 这里 ( )/ 1cµ φ= − 。（15）表示成向量形式为： ( )E Y µ= 其中µ表示（16）的右边的 ( )1T × 向量。Y的方差协方差矩阵为： ( )( )E Y Yµ µ⎡ ⎤′− − = Ω⎢ ⎥⎣ ⎦ （17） 其中 ( ) ( )( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( ) 2 1 1 2 1 2 2 1 2 2 2 1 2 T T T T T E Y E Y Y E Y Y E Y Y E Y E Y Y E Y Y E Y Y E Y µ µ µ µ µ µ µ µ µ µ µ µ µ µ µ ⎡ ⎤− − − − −⎢ ⎥⎢ ⎥− − − − −Ω = ⎢ ⎥⎢ ⎥⎢ ⎥− − − − −⎣ ⎦ " " # # " # " （18） 该矩阵元素对应于Y的自协方差。则 ( )1AR 过程的第 j阶自协方差为： ( )( ) ( )2 2/ 1jt t jE Y Yµ µ σ φ φ−− − = − （19） （18）可写作 2VσΩ = （20） 其中 2 1 2 2 3 2 1 2 3 1 1 1 1 1 1 T T T T T T V φ φ φ φ φ φ φ φ φφ φ φ φ − − − − − − ⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥= − ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦ " " " # # # " # " （21） 将样本 y看作由 ( ),N µ Ω 分布的一个简单抽样，样本似然值可根据多元 高斯密度公式直接写成： ( ) ( ) ( ) ( )1/ 2/ 2 1 11; 2 exp 2 T Yf y y yθ π µ µ− − −⎡ ⎤= Ω − − Ω −⎢ ⎥⎣ ⎦ （22） 其对数似然值为： 三．高斯 ( )1AR 过程精确极大似然函数 理论上，对方程（14）求导并令导数为零，就可得到参数向量θ。 而在实践当中，往往得到的θ是 ( )1 2, ,..., Ty y y 的非线性方程。此时求解 需要非线性规划求解方法，如格子搜索、最速下降法、牛顿-拉夫森 方法等数值优化方法。 四．条件极大似然（MLE）函数 如果将 1y 的值看作确定性的，然后最大化以第一个值为条件的似 然值，这种方法称为条件极大似然函数。此时最大化目标为： ( ) ( ) ( ) { }212 2 2 1 1ln 2 ln 2 2 2 T t t t y c yT TL φθ π σ σ − = − −− −= − − −∑ （23） 求（23）最大时的 ,c φ等价于最小化： { }21 2 T t t t y c yφ − = − −∑ （24） 此时采取 ty 对其滞后值的OLS 回归得到。因此 ,c φ 的条件似然估计由 下式给出 1 1 2 1 1 1 1 t t t t t t T y yc y y y yφ − − − − − ⎡ ⎤ ⎡ ⎤−⎡ ⎤ = ⎢ ⎥ ⎢ ⎥⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ∑ ∑∑ ∑ ∑ � � （25） 其中Σ表示对 2,3,...,t T= 求和。 （23）对 2σ 求导并等于零，可求得扰动项的条件似然估计： { }21 2 4 2 1 0 2 2 T t t t y c yT φ σ σ − = − −−− + =∑ （26） 整理得到： { }212 2 1 T t t t y c y T φσ − = − −= −∑� （27） 即 2σ 得极大似然估计量是最小二乘估计量残差的平方。 条件极大似然估计的特点： 1． 易于计算。 2． 样本量T足够大，则第一个观测值的影响可以忽略。 3． 1φ < ，则精确极大似然估计和条件极大似然估计具有相同的大 样本分布。 4． 1φ > ，条件MLE是一致估计。 第三节 高斯 ( )AR p 过程的似然函数 一．计算似然函数 对于高斯 ( )AR p 过程 1 2 2 ....t t t p t p tY c Y Y Yφ φ φ ε− − −= + + + + + （28） 其中 ( )20,t iidNε σ∼ 。总体参数向量为 ( )21 2, , ,..., ,pcθ φ φ φ σ= 。 样本 ( )1 2, ,..., py y y 中的前 p个观察值合成一个 ( )1p× 向量 py ，可以 看作 p维高斯变量的一个实现。向量的均值为 pµ ，为 ( )1p× 向量，其 元素为 ( )1 2/ 1 ... pcµ φ φ φ= − − − − （29） 令 2 pVσ 表示 ( )1 2, ,..., pY Y Y 的 ( )p p× 方差协方差矩阵： ( ) ( )( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )( ) ( ) 2 1 1 2 1 2 2 1 2 22 2 1 2 0 1 1 1 0 2 1 2 0 p p p p p p p p p E Y E Y Y E Y Y E Y Y E Y E Y Y V E Y Y E Y Y E Y µ µ µ µ µ µ µ µ µ µσ µ µ µ µ µ γ γ γ γ γ γ γ γ γ − − − − ⎡ ⎤− − − − −⎢ ⎥⎢ ⎥− − − − −⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥− − − − −⎣ ⎦ ⎡ ⎤⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦ " " # # " # " " " # # " # " （30） 前 p个观察值的密度是一个 ( )2,p pN Vµ σ 变量的密度： ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1, ,..., , 1 1 1/ 2/ 2 2 1 1 2 1/ 2/ 2 1 1 2 ,..., ; 12 exp 2 12 exp 2 p pY Y Y p p p p p p p p p p p p p p p p p f y y y V y V y V y V y θ π σ µ µσ π σ µ µσ − − − − − − − − − − ⎡ ⎤′= − − −⎢ ⎥⎣ ⎦ ⎡ ⎤′= − − −⎢ ⎥⎣ ⎦ （31） 样本中剩下的观察值为 ( )1 2, ,...,p p Ty y y+ + 。以前 1t − 个观察值为条 件，第 t个观察值为高斯的，其均值为 1 1 2 2 ....t t p t pc y y yφ φ φ− − −+ + + + ，方差 为 2σ 。当 t p> 时，其概率密度为 ( ) ( ) ( ) 1 2 1 1 21 1 1, ,..., , ,..., 2 1 1 2 2 22 ,..., ; ,..., ; ....1 exp 22 t t t t t t t pt t t t t pY Y Y Y Y Y Y Y t t t p t p f y y y f y y y y c y y y θ θ φ φ φ σπσ − − − − −− − − − − − = ⎡ ⎤− − − − − −⎢ ⎥= ⎢ ⎥⎣ ⎦ （32） 全样本似然函数为 ( ) ( ) ( ) 1 1 1 2 1 1 2 , ,..., 1 1 , , ,..., 1 1 1, ,..., 1 , ,..., ; , ,..., ; ,..., ; T t p p p t t t t p Y Y Y T T T Y Y Y Y p p t t t pY Y Y Y t p f y y y f y y y f y y y θ θ θ − − − − − − − − − − = + = × ∏ （33） 对数似然函数 ( )L θ 为 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 2 1, , ,..., 1 1 2 1 1 2 2 1 12 2 1 2 1 1 2 ln , ,..., ; 1 1ln 2 ln ln 2 2 2 2 .... ln 2 ln 2 2 2 1 1ln 2 ln ln 2 2 2 2 T T tY Y Y Y T T p p p p p p T t t p t p t p p p p p p p L f y y y p p V y V y y c y yT p T p T T V y V y θ θ π σ µ µσ φ φπ σ σ π σ µ µσ − − − − − − − = + − − ⎡ ⎤= ⎣ ⎦ ′= − − + − − − − − − −− −− − − ′= − − + − − − ∑ ( )21 1 2 2 2 1 .... 2 T t t t p t p t p y c y y yφ φ φ σ − − − = + − − − − −− ∑ （34） 其中将对称矩阵 1pV − 的第 i行，第 j列元素记作 ( )ijv p ： ( ) 1 0 1 p i ji ij k k j i k k j i k k p j v p φ φ φ φ+ −− + − + − = = + − ⎡ ⎤= −⎢ ⎥⎣ ⎦∑ ∑ 对于1 i j p≤ ≤ ≤ （35） 其中 0 1φ = − 。 例 ( )1AR 过程 解： 1pV − 是一个标量，令 1i j p= = = ，则 ( ) ( )0 11 2 2 21 0 1 0 1 1k k k k k k V φ φ φ φ φ φ φ− = = ⎡ ⎤= − = − = −⎢ ⎥⎣ ⎦∑ ∑ 所以， ( )2 2 21 / 1Vσ σ φ= − 。 例 ( )2AR 过程 解： 2p = ，此时 ( ) ( ) ( ) ( ) ( ) ( ) ( ) 2 2 1 1 2 2 11 2 22 1 21 1 2 2 1 1 1 11 V φ φ φφ φ φφ φ φφ φφ φ − ⎡ ⎤− − + − −⎡ ⎤⎢ ⎥= = + ⎢ ⎥− −⎢ ⎥− + − ⎣ ⎦⎣ ⎦ 因此 ( ) ( )2 21 22 2 2 11 1V φ φ φ− ⎡ ⎤= + − −⎣ ⎦ ( ) ( ) [ ]( ) ( ) ( ) ( ) ( )( ) ( )( ) ( )( ){ } 1 2 2 2 2 2 2 1 1 1 2 2 1 2 2 2 2 2 2 1 1 1 2 2 2 1 1 1 1 1 2 1 y V y y y y y y y y y µ µ φ φ µµ µ φ φ φ µ φ φ µ φ µ µ φ µ −′− − − −⎡ ⎤ −⎡ ⎤= − − + ⎢ ⎥ ⎢ ⎥− − −⎣ ⎦⎣ ⎦ = + − − − − − + − − 于是 ( )2AR 过程的精确对数似然函数为： ( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )( ) ( )( ) ( )( ){ }{ } ( ) 2 22 2 2 2 1 2 22 2 2 1 1 1 2 2 22 2 1 1 2 2 2 3 1ln 2 ln ln 1 1 2 2 2 1 1 1 2 1 2 2 T t t t t L T T y y y y y c y y θ π σ φ φ φ φ φ φ µ φ µ µ φ µσ φ φ σ − − = ⎡ ⎤= − − + + − −⎣ ⎦ +− + − − − − − + − − − − −−∑ 其中 ( )1 2/ 1cµ φ φ= − − 。 二．条件最大似然函数 以前 p个观察值为条件的对数似然函数为： ( ) ( ) ( ) ( ) 2 1 12 2 1 .... ln 2 ln 2 2 2 T t t p t p t p L y c y yT p T p θ φ φπ σ σ − − = + − − − −− −= − − − ∑ （36） 求 1 2, , ,..., pc φ φ φ 使得（36）最大化问题转变为最小化： ( )21 1 2 2 1 .... T t t t p t p t p y c y y yφ φ φ− − − = + − − − − −∑ （37） 利用最小二乘回归得到这些参数的条件最大似然估计。 2σ 的条件极大 似然估计为最小二乘回归残差的平方： ( )22 1 1 2 2 1 1 .... T t t t p t p t p y c y y y T p σ φ φ φ− − − = + = − − − − −− ∑ � � �� � （38） 三．非高斯时间序列的极大似然估计（拟极大似然估计） 1. 如果过程非高斯的，使用高斯对数似然函数得到的估计 ( )1 2, , ,..., pc φ φ φ� � �� 为总体参数的一致估计。 2． 拟极大似然估计得到的系数的 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 差不正确。 四． ( )AR p 过程的 Yule-Walker 估计 ( )AR p 模型的自回归系数 φ 由 ( )AR p 模型的自协方差函数 0 1, ,..., pγ γ γ 通过由拉沃克方程 1 0 1 1 2 1 0 2 1 2 0 p p p p p γ γ γ γ γ γ γ γ γ γ γ γ − − − − ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥=⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ " " # # # " # " （39） 确定。白噪声的方差 2σ ( )2 0 1 1 2 2 ... p pσ γ φ γ φ γ φ γ= − + + + （40） 从样本观测值 1 2, ,..., Nx x x 可以构造出样本自协方差函数的估计： 1 1 N k k j j k j y y N γ − + = = ∑� 0,1,...,k p= （41） 因此根据自协方差函数的估计，可以联合求解除系数估计量。 第四节 高斯 ( )1MA 过程的似然函数 一．条件似然函数 对于高斯 ( )1MA 过程 1t t tY µ ε θε −= + + （42） 其中 ( )2 0,t iid Nε σ∼ 。 ( )2, ,µ θ σ=θ 表示要估计的总体参数。如果 1tε − 已 知，则 ( )( )21 1 ,t t tY Nε µ θε σ− −+∼ （43） 其概率密度函数为： ( ) ( ) 1 2 1 1 22 1; exp 22t t t t t tY y f yε µ θεε θ σπσ− − − ⎡ ⎤− − −= ⎢ ⎥⎢ ⎥⎣ ⎦ （44） 如果已知 0 0ε = ，则 ( )21 0 ,Y Nε µ σ∼ （45） 给定观察值 1y ，则 1ε 就是确定的 1 1yε µ= − （46） 代入（44），得到 ( ) ( ) 2 1 0 2 2 1 2 1 0, 0 22 1, 0; exp 22 Y Y y f y yε µ θεε θ σπσ= ⎡ ⎤− − −= = ⎢ ⎥⎢ ⎥⎣ ⎦ （47） 因为 1ε 确知， 2ε 可由下式求出： 2 2 1yε µ θε= − − （48） 通过迭代法由{ }1 2, ,..., Ty y y 求出{ }1 2, ,..., Tε ε ε 整个序列： 1t t tyε µ θε −= − − （49） 1, 2,...,t T= ，从 0 0ε = 开始。则第 t个观测值的条件密度为： ( ) ( ) 1 2 1 0 1 1 2 1 0, ,..., , 0 2 1 22 , ,..., , 0; 1; exp 22 t t t t t t t tY Y Y Y t t tY f y y y y f y ε ε ε θ εε θ σπσ − − − − −= − = ⎡ ⎤−= = ⎢ ⎥⎣ ⎦ （50） 则样本似然函数为 ( ) ( ) ( ) 1 1 0 1 0 1 2 1 0 1 2 1 0, ,..., 0 1 0 1 2 1 00 , ,..., , 0 2 , , ,..., 0; 0; , ,..., , 0; T T t t t T T TY Y Y T t t tY Y Y Y Y t f y y y y f y f y y y y ε ε ε ε θ ε θ ε θ − − − − −= − −= = = = = = =∏ （51） 条件对数似然函数为 ( ) ( ) ( ) ( ) 1 1 0 1 1 0, ,..., 0 2 2 2 1 ln , ,..., 0; ln 2 ln 2 2 2 T T T TY Y Y T t t L f y y y T T εθ ε θ επ σ σ − −= = ⎡ ⎤= =⎣ ⎦ = − − −∑ （52） 其中，利用（49）和观察值序列可以求出隐含的白噪声序列。但是条 件似然函数仍然是非线性函数。需要使用数值解法求参数。 二．精确似然函数 y 的观察值可以写成一个 ( )1T × 向量 ( )1 2, ,..., Ty y y y ′= ，均值 ( ), ,...,µ µ µ ′=µ ，方差协方差 ( )T T× 矩阵 ( )( )E Y Yµ µ ′Ω = − − ，即 ( ) ( ) ( ) ( ) 2 2 2 2 2 1 0 0 1 0 0 1 0 0 0 0 1 θ θ θ θ θ σ θ θ θ ⎡ ⎤+⎢ ⎥⎢ ⎥+⎢ ⎥Ω = ⎢ ⎥+⎢ ⎥⎢ ⎥⎢ ⎥+⎢ ⎥⎣ ⎦ " " " # # # " # " （53） 其似然函数 ( ) ( ) ( ) ( )1/ 2/ 2 11; 2 exp 2 T Yf y y yθ π µ µ−− −⎡ ⎤′= Ω − − Ω −⎢ ⎥⎣ ⎦ （54） 对Ω进行三角形分解 ADA′Ω = （55） 其中 ( ) ( )( ) ( ) 2 2 2 4 2 22 2 12 4 1 0 0 0 0 1 0 0 0 1 1 0 1 0 0 1 1 ... 0 0 0 1 1 ... n n A θ θ θ θ θ θ θ θ θ θ θ θ − − ⎡ ⎤⎢ ⎥⎢ ⎥+⎢ ⎥⎢ ⎥+⎢ ⎥= ⎢ ⎥+ +⎢ ⎥⎢ ⎥⎢ ⎥+ + +⎢ ⎥⎢ ⎥+ + + +⎣ ⎦ " " " # # # " # # " （56） ( ) 2 2 4 2 2 4 6 2 2 4 2 4 2 2 12 1 0 0 0 10 0 0 1 10 0 0 1 1 ...0 0 0 1 ... n n D θ θ θ θ θ θ θσ θ θ θ θ θ θ θ − ⎡ ⎤+⎢ ⎥+ +⎢ ⎥⎢ ⎥+⎢ ⎥+ + +⎢ ⎥= ⎢ ⎥+ +⎢ ⎥⎢ ⎥⎢ ⎥+ + + +⎢ ⎥⎢ ⎥+ + +⎣ ⎦ " " " # # # " # " （57） 其似然函数为： ( ) ( ) ( ) [ ] ( )11/ 2/ 2 1 11; 2 exp 2 T Yf y ADA y A D A yθ π µ µ−−− − −⎡ ⎤′′ ′= − − −⎢ ⎥⎣ ⎦ （58） 由于 A是下三角形矩阵，且主对角线元素为 1，则 1A = ，且 ADA A D A D′ ′= = （59） 定义 ( )1y A y µ−= −� 或 Ay y µ= −� （60） 则似然函数可以记为 ( ) ( ) 1/ 2/ 2 11; 2 exp 2 T Yf y D y D yθ π −− −⎡ ⎤′= −⎢ ⎥⎣ ⎦� � （61） 根据（60），系统的第一行意味着 1 1y y µ= −� ，第 t行为 ( ) ( ) 2 22 4 12 12 4 1 .... 1 .... t t t tty y y θ θ θ θµ θ θ θ − −− ⎡ ⎤+ + + +⎣ ⎦= − − + + + +� � （62） 从 1 1y y µ= −� 开始，迭代（62）求得向量 y� 。 y� 可以看作 ty 关于常数项 和 1 2 1, ,...,ty y y− − 的线性投影的残差。矩阵D的第 t个主对角元素给出了 线性投影的MSE： ( ) ( )2 4 22 21 2 12 41 ...1 ... t tt td E y θ θ θσ θ θ θ − + + + += = + + + +� （63） 因为D是对角矩阵，因此 1 T tt t D d = =∏ （64） 且通过D的主对角元素求倒数，可以得到 1D− ，从而 2 1 1 T t t tt yy D y d − = ′ = ∑ �� � （65） 将（64）和（65）代入（61），得到 ( ) ( ) 1/ 2 2 / 2 11 1; 2 exp 2 T T T t Y tt tt tt yf y d d θ π − − == ⎡ ⎤⎡ ⎤= −⎢ ⎥⎢ ⎥⎣ ⎦ ⎣ ⎦∑∏ � （66） 精确对数似然函数为 ( ) ( ) ( ) ( ) 2 1 1 1 1ln ; ln 2 ln 2 2 2 T T t Y tt t t tt yTL f y d d θ θ π = = = = − − −∑ ∑ � （67） 第五节 高斯 ( )MA q 过程的似然函数 一．条件似然函数 对于 ( )MA q 过程 1 1 2 2 ....t t t t q t qY µ ε θ ε θ ε θ ε− − −= + + + + + （68） 假设前 q项的ε 全为零： 0 1 1..... 0qε ε ε− − += = = = （69） 于是 1 1 2 2 ....t t t t q t qyε µ θ ε θ ε θ ε− − −= − − − − − （70） 其中 1,2,...,t T= 。令 0ε 表示 ( )1q× 向量 ( )0 1 1, ,..., qε ε ε− − + ′。则当特征方程 2 1 21 ... 0 q qz z zθ θ θ+ + + + = （71） 的 z值全落在单位圆外时，条件对数似然函数为： ( ) ( ) ( ) ( ) 1 1 0 1 1 0, ,..., 0 2 2 2 1 ln , ,..., 0; ln 2 ln 2 2 2 T T T TY Y Y T t t L f y y y T T εθ ε θ επ σ σ − −= = = = = − − −∑ （72） 其中 ( )21 2, , ,..., ,qµ θ θ θ σ ′=θ 。 二．精确似然函数 其表达式为： ( ) ( ) ( ) ( )1/ 2/ 2 11; 2 exp 2 T Yf y y yθ π µ µ−− −⎡ ⎤′= Ω − − Ω −⎢ ⎥⎣ ⎦ （73） 其中 ( )1 2, ,..., Ty y y y ′= 且 ( ), ,...,µ µ µ ′=µ 。Ω表示 ( )MA q 过程的方差协方差 矩阵。其中Ω的第 i行、第 j列的元素为 i jγ − 。其中 kγ 是 ( )MA q 过程的 第 k阶自协方差： ( )2 1 1 2 2 ... 0,1,..., 0 k k k q q k k k q k q σ θ θ θ θ θ θ θγ + + −⎧ + + + + =⎪= ⎨ >⎪⎩ （74） 令 A是下三角形矩阵，且主对角线元素为 1， 1A = ；D是对角矩阵。 则利用三角形分解方法 ADA′Ω = ，得到精确的对数似然函数： ( ) ( ) ( ) ( ) 2 1 1 1 1ln ; ln 2 ln 2 2 2 T T t Y tt t t tt yTL f y d d θ θ π = = = = − − −∑ ∑ � （75） 其中 y� 的元素可运用递归法得到： ( ) ( ) ( ) ( ) ( ) ( ) 1 1 2 2 21 1 3 3 32 2 31 1 1 21 2 ...t t t t t qt t t t t t q y y y y a y y y a y a y y y a y a y a y µ µ µ µ − − −− − − = − = − − = − − − = − − − − − � � � � � � # � � � � （76） ( ) ( ) ( ) ( ) ( ) ( ) 21 31 32 1 1 1 2 1 3 2 2 2 3 1 1 0 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 q q q q q T T a a a A a a a a a a + + + + + − ⎡ ⎤⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥= ⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎢ ⎥⎣ ⎦ " " " # # # " # # " " ## # # " # " （77） ttd 为矩阵D的对角线上的元素。 第六节 高斯 ( ),ARMA p q 过程的似然函数 对于高斯 ( ),ARMA p q 过程 1 1 2 2 1 1.... ...t t t p t p t t q t qY c Y Y Yφ φ φ ε θ ε θ ε− − − − −= + + + + + + + + （78） 其中 ( )20,t iidNε σ∼ 。总体参数向量为 ( )21 2 1 2, , ,..., , , ,..., ,p qc φ φ φ θ θ θ σ=θ 。 自回归过程的似然函数的近似以 y的初始值为条件，移动平均过 程似然函数的近似以ε 的初始值为条件。 ( ),ARMA p q 过程以 y和ε 的初 始值为条件。 假设初始值 ( )0 0 1 1, ,..., py y y− − + ′=y 和 ( )0 0 1 1, ,..., qε ε ε− − + ′=ε 给定，则利用 实现{ }1 2, ,.., Ty y y ，迭代得到： 1 1 2 2 1 1 2 2... ...t t t t p t p t t q t qy c y y yε φ φ φ θ ε θ ε θ ε− − − − − −= − − − − − − − − − （79） 可得 1,2,....,t T= 的序列{ }1 2, ,.., Tε ε ε 。则条件似然函数为： ( ) ( ) ( ) ( ) 1 1 0 0 1 1 0 0, ,..., , 2 2 2 1 ln , ,..., , ; ln 2 ln 2 2 2 T T T TY Y Y T t t L f y y y T T θ επ σ σ − − = = = − − −∑ Y ε Y ε θ （80） 第七节 极大似然估计的统计推断 一。 极大似然估计的标准差 如果样本量T足够大，则极大似然估计θ�近似表示为： ( )1 1,N T ϕ− −≈ 0θ θ� （81） 其中 0θ 代表真实参数向量。矩阵ϕ称为信息矩阵。信息矩阵的二阶导 数估计为 ( )21 LT θ θθϕ θ θ− = ∂= − ′∂ ∂ � � （82） 其中 ( )L θ 为对数似然函数： ( ) ( ) 1 1 1 ln ; T t T t tY t L f yθ − −Ψ= = Ψ∑ θ （83） 1t−Ψ 表示 t时刻 y的所有历史观测值。利用数值方法可以计算出对数似 然函数的二阶导数。（82）代入（83），得到 ( )( ) ( ) 120 0 LE θθ θ θ θ θ θθ θ −⎡ ⎤∂′− − ≅ − =⎢ ⎥′∂ ∂⎣ ⎦ � � � （84） 二．似然比检验 假设原假设：参数向量θ中存在m个限制（例如某些系数等于零）。 首先求出无限制极大似然估计；在求出存在限制情况下的极大似然估 计。令 ( )L θ� 表示无限制对数似然函数。 ( )L θ� 表示限制对数似然函数。 明显 ( ) ( )L Lθ θ≥� � ，检验统计量为： ( ) ( ) ( )22 L L mθ θ χ⎡ ⎤−⎣ ⎦� � ∼ （85） 利用显著性检验法和置信区间法可以对原假设进行检验。 三．拉格朗日乘子检验 标准差检验需要计算无限制极大似然估计θ�。似然比检验既要计 算有限制极大似然估计量，又要计算无限制极大似然估计量。而如果 计算有限制极大似然估计量比较简单，则可以利用拉格朗日乘子检 验。拉格朗日乘子检验是从有限制极大似然估计这一原假设出发，即 原假设：有限制极大似然估计量为真。 令θ为一个 ( )1a× 向量，令θ�为有m个限制的极大似然估计量。令 ( )1,...;t tf y y θ− 为第 t个观察值的条件密度，令 ( ), th Yθ 表示对数条件密度 对限制估计θ的导数组成的 ( )1a× 向量： ( ) ( )1ln ,...,, t tt f y yh Y θ θθθ θ − =∂= ∂ �� （86） 此时拉格朗日乘子统计量为： ( ) ( ) ( )1 1 2 1 1 , , T T t t t t T h Y h Y mθ ϕ θ χ− − = = ′⎡ ⎤ ⎡ ⎤ ≈⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦∑ ∑ � � （87） 其中ϕ为信息矩阵，其估计量 ( )21 LT θ θθϕ θ θ− = ∂= − ′∂ ∂ � � 。 参考教材： 《经济计量学手册：第十三章》 《计量经济模型与经济预测》 平狄克著 机械工业出版社 《计量经济分析》 格林著 中国社会科学出版社