讲义09乘积季节模型(3)

2.模型参数的估计假设随机变量的概率密度函数为，其参数用表示，则对于xtf(xt|)={1,2,…,k}一组固定的参数来说，的每一个取值都与一定的概率相联系，相反若参数未知，当得xt到一个观测值后，估计参数的原则是使观测值出现的可能性最大。似然函数定义为xtxtL(|xt)=f(xt|),似然函数与概率密度函数的表达形式相同，所不同的是在中参数L(|xt)f(zt|)f(xt|)是已知的，取值是未知的；而在中，是已知的观测值，参数是未知的。设一xtL(|xt)xt组随机变量（）是相互独立的，则其联合概率密度函数为xt,t=1,2,…,TTf(x|)f(x|)…f(x|)=f(x|)12Ttt1对于一个 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 ，似然函数可表示为(x1,x2,…,xT)TL(|x1,x2,…,xT)=f(|xt)t1其中是一组未知参数。的极大似然估计值就是指确定一组参数值从而使={1,2,…,k}上述样本出现的机会最大。对数似然函数是TlogL=logL(|x1,x2,…,xT)=logf(xt|)(1.42)t1通过选择使上式达到最大，从而求出极大似然估计值~（因为logL是单调增函数，所以logL和L可以同时达到最大值，而用logL计算更方便。）。具体步骤是用上式对每个未知参数求偏导数并令其为零，即logL=0,1…..logL=0,（k个方程联立）k解方程，从而求得的极大似然估值。极大似然估计量(MLE)~具有一致性和渐近有效性。首先讨论正态分布随机变量的极大似然估计。已知2，现有样本，xt(,)(x1,x2,…,xT)则,2的极大似然估计过程如下。因为服从正态分布，所以的概率密度函数是xtxt1(x)2tf(xt)=exp()(1.43)(22)1/222对于样本，似然函数是(x1,x2,…,xT)T1(x)2tL(x1,x2,…,xT)=exp()(22)1/222t1TT1T=(2)2(2)2exp((x)2)(1.44)22tt1对,2的极大似然估计就是指在上式中确定一组参数从而使上述样本出现的可能性最大。1因指数函数和对数函数都是单调递增的，所以两种形式对于求极大似然估计量没有影响。为计算方便，取对数似然函数TT1TlogL=-log2-log2-(x)2(1.45)2222tt1分别求上式对和2的偏导数，并令其为零，logL1T~~=(x)=0,(1.46)~2tt1logLT1T=-+(x~)2=0,(1.47)~22~22~4tt1因为是随机变量，所以式中的~2不等于零。若满足式，有下式成立，xt(1.46)(1.46)T(x~)=0(1.48)tt1则的极大似然估计量是1T~=x=x(1.49)Ttt1即样本平均数x。所以的极大似然估计量~具有无偏性。将上述结果代入(1.47)式得1T1T~2=(x~)2=(xx)2(1.50)TtTtt1t1~2是2的有偏、一致估计量。下面讨论一元线性回归模型yt=0+1xt+ut,t=1,2,…,T.(1.51)的极大似然估计。假定2，则也服从正态分布utN(0,)yt2，ytN(E(yt),)(1.52)其中。若是相互独立的，则对于样本，似然函数是E(yt)=0+1xtyt(y1,y2,…,yT)2L(,|y1,,y2,…,yT)=f(y1)f(y2)…f(yT),其中表示未知参数的集合。由（）式每个的概率密度函数为0,11.52yt1(yE(y))2ttf(yt)=exp()(22)1/222则单个的似然函数是yt11122logL=-log2-log-(yt-E(yt))222211122=-log2-log-(yt-0-1xt)(1.53)2222对于样本，对数似然函数是(y1,y2,…,yT)2TlogL(y,y,…,y)=logf(y)12Ttt1TT1T=-log2-log2-(yx)2(1.54)2222t01tt1因为对数函数是单调递增函数（即若有，则必有），所以使达到最c1>c2logc1>logc2logL大等价于使达到最大。为了找到使对数似然函数达到极大的点，分别求对2LlogL0,1,的偏导数，并令其为零。logL1T~~=(yx)=0(1.55)~2t01t0t1logL1T~~=[x(yx)]=0(1.56)~2tt01t1t1logLT1T~~=-+(yx)2=0(1.57)22~22~4t01tt1由(1.55)和(1.56)式则必有各自的分子等于零成立。显然这就是OLS法计算公式。~(xx)(yy)=tttt(1.58)1(xx)2t~~=y-x(1.59)01~~可见，和的极大似然估计式和最小二乘估计式完全一样。所以和也具有最佳线性0110性无偏特性。极大似然估计法的另一个特点是可以直接得到2的极大似然估计量。由(1.57)式得T~~T(yx)2(u~)2t01tt~2=t1=t1(1.60)TT但~2显然是2的有偏估计量（误差均方ˆ2才是2的无偏估计量）。~~把,和~2代入(1.54)式就得到logL的极大似然估计值。对于例1，01logL=-8log2-8log(58.05/16)-8)=-33.01。同理对于多元线性回归模型yt=0+1xt1+2xt2+…+k-1xtk-1+ut,t=1,2,…,T.(1.61)的极大似然估计式与最小二乘估计式完全相同。~2的极大似然估计式是0,1,…,k-1TT1(u~)2。tt1现在讨论怎样对时间序列模型的参数进行极大似然估计。对于非平稳过程，假定经过次差分之后可以表达为一个平稳、可逆的自回归移动ytd3平均过程，xtd(L)yt=(L)xt=(L)ut.(2.56)对于假定可以观测到个观测值，即，则经过次差分之后，ytT+dy-d+1,…,y0,y1,…,yTdxt的样本容量为。以为样本估计模型参数。T{x1,…,xT}ARMA(p,q)(1,…,p,1,…,q)对随机过程{x}的参数估计就如对回归模型的参数估计一样，目的是使x与其拟合值xˆ的残ttt差平方和(xxˆ)2=uˆ2.ttttt最小。把(2.56)式改写为(L)u=x.(2.57)t(L)t若用ˆ，ˆ和uˆ分别表示对,和u的估计，则使下式最小。iitiituˆ2=S(ˆ,…,ˆ,ˆ,…,ˆ)(2.58)t1p1qt假定2，且不存在自相关，则条件对数似然函数为utN(0,u),t=1,…Tuˆ2ttlogL=-Tlogu-(2.59)22u之所以称之为条件对数似然函数是因为uˆ2依赖于过去的不可知观测值x,x,…,x和t0-1-p+1。比如u0,u-1,…,u-q+1u1=x1-1x0-2x-1-…-px-p+1-1u0-…-qu-q+1.(2.60)对（2.59）式求极大即等同于对uˆ2求极小。对uˆ2求极小时需要先确定x,x,…,xtt0–1-p+1和的值。此问题的一般处理方法是取这些变量等于他们的无条件期望值。u0,u-1,…,u-q+1u0,的无条件期望值为零。若模型（）中不含有漂移项，则的无u-1,…,u-q+12.56x0,x-1,…,x-p+1条件期望值也为零。当样本容量与滞后长度值相比充分大，且的值不接近Tp,q1,…,p1时，这种近似非常理想。若(2.56)式中不含有移动平均项，对于自回归参数来说(2.57)式是一个线性函数。可以用OLS法估计参数。如果(2.56)式中含有移动平均项，那么对于移动平均参数来说，(2.57)式是一个非线性函数。对(2.57)式必须采用非线性估计方法。首先假定模型为纯自回归形式，(L)xt=ut(2.61)或xt=1xt-1+…+pxt-p+ut.(2.62)这是一个线性回归模型，极大似然估计与OLS估计结果近似相同。模型(2.62)与模型的区别在于是相互非独立的。其联合密度函数由一系列条件概率密(2.53)xt,t=1,2,…,T度函数构成。比如有两个随机变量和其联合密度函数是x1x2f(x2,x1)=f(x2|x1)f(x1)其中表示以为条件的的条件概率密度函数，表示的无条件概率密度f(x2|x1)x1x2f(x1)x1函数。T个随机变量的似然函数可用条件概率密度函数表示为4L(|x1,x2,…,xT)=f(xTxT-1,xT-2,…,x2,x1)f(xT-1,xT-2,…,x2,x1)(2.63)其中是待估参数集合。上式中无条件概率密度函数可进一步分解为f(xT-1,xT-2,…,x2,x1)条件概率密度函数和无条件概率密度函数的乘积。以f(xT-1|xT-2,…,x2,x1)f(xT-2,…,x2,x1)此类推，T2L()=[f(xT-i|xT-1-i,…,x2,x1)]f(x1)(2.64)i0两侧取对数，T2logL=[logf(xT-i|xT-1-i,…,x2,x1)]+logf(x1).(2.65)i0下面以AR(1)模型2xt=xt-1+ut,utN(0,)(2.66)为例求极大似然函数。以为条件的的概率分布是正态的，其均值为，方差为2，xt-1xtxt-1即∣2f(xtxt-1,…,x2,x1)N(xt-1,)(2.67)则对数似然函数表达如下T1T11T22logL=-log2-log-(x-xt-1)+logf(x1).2222tt2(2.68)若该随机过程是平稳的，的无条件分布是正态的，即x12x1N(0,),(2.69)12其密度函数为12(12)x21/21f(x1)=()exp[](2.70)2222所以对数似然函数(2.68)可以进一步表达为，TT1(12)x21T2212logL=-log2-log+log(1-)--(x-xt-1)2222222tt2(2.71)上式中参数的极大似然估计量不再是线性的。去掉上式右侧第三、四两项，的极大似然估~计量的大样本特性不会受到影响。在多数情况下极大似然估计值与最小二乘估计值非常接近。当模型中含有移动平均成分时-1ut=(L)(L)xt(2.63)对于参数来说，模型是非线性的。对于非线性模型，通常由三种估计方法。5⑴直接搜索法。通过改变参数的取值，反复计算残差平方和uˆ2的值。然后从中选择t最小的那个值所对应的参数值作为对参数的估计值。这种方法只有在参数个数较少时才是可行的。当参数个数较多时，计算量将非常大。例如当含有四个被估参数，每个参数需选择20个计算值时，则需要计算(20)4=160000次。⑵直接优化法。求误差平方和函数对每一个参数的偏导数并令其为零，从而求得正规方程(uˆ2)tt=0,i=1,…,p+q(2.64)i其中（）（）。因为个方程中都含有个参数，所1,…,p+q=1,…,p,1,…,qp+qp+q以必须联立求解。由于计算上的困难，这种方法很少直接采用。⑶线性迭代法。对任何非线性函数通常都可以按泰勒级数展开。f(x)=f(x0)+f‘(x0)(x–x0)+…=f(x0)-f‘(x0)x0+f‘(x0)x+…首先为参数选一组初始值（）（下标零表示初始值。怎样确定初始值并不1,0,…,p+q,0重要。），然后将按泰勒级数在（）点展开。xt=f(xt-1,…,xt-p)1,0,…,p+q,0pqfx=f(x,…,x,,…,)+()tt-1t-p1,0p+q,0ii,0i1i01pqpq2f+()()+….(2.65)2ii,0jj,0iji1j10其中偏导数的下标写为零表示偏导数在时的值。取上式右侧的前两1=1,0,…,p+q=p+q,0项对原非线性函数进行近似。去掉右侧第三项及以后各项得xtpqfpqfx-f(x,…,x,,…,)+=+u.(2.66)tt-1t-p1,0p+q,0ti,0ii1i0i1i0上式为线性回归方程形式（对于是线性的）。左侧为已知量，右侧含有一组未知量i,i,i=1,…,p+q。利用OLS法对上式进行估计。设所得估计值用（）表示。以此作1,1,…,p+q,1为第二组估计值，对非线性函数再一次线性化，从而得到一个新的线性方程。pqfpqfx-f(x,…,x,,…,)+=+u.(2.67)tt-1t-p1,1p+q,1ti,1ii1i1i1i1对上式再次应用法估计参数，并把作为待估参数的第三组估计值。重OLS(1,2,…,p+q,2)复上述过程，直至满足如下要求为止。i,j1ij<,i=1,…,p+q,(2.68)ij其中i表示参数序号，j表示迭代次数。是预先给定的精度标准。如果最后一次的参数估计值用表示，并且接近真值(1,k,…,p+q,k)(1,k,…,p+q,k)，则必有，(1,…,p+q)6pqfpqfi,kii1iki1ik所以有x=f(x,…,x,,…,)+uˆtt-1t-p1,kp+q,kt是对的最终估计。这种迭代计算一般都是通过计算机完成。(1,k,…,p+q,k)(1,…,p+q)评价线性模型的一些统计量例等都不能直接用于评价非线性模型。原因是尽管F,tut是正态分布的且均值为零，但残差uˆ=x-xˆ=x-f(x,…,x,,…,)(2.69)ttttt-1t-p1,kp+q,k不服从正态分布，则uˆ2不服从2分布，参数估计量不服从正态分布。所以不能使用tF和t检验。然而对迭代中的最后一步可以进行F,t检验。如果估计量ˆ=,（i=1,…,ii,k），接近真值，那么检验将会对非线性模型有很满意的解释作用。p+qiF,t乘积季节模型(Multiplicativeseasonalmodel在某些时间序列中，存在明显的周期性变化。这种周期是由于季节性变化或其他一些固有因素引起的。这类序列称为季节性序列。比如一个地区的气温值序列（每隔一小时取一个观测值）中除了含有以天为周期的变化，还含有以年为周期的变化。在经济领域中，季节性序列更是到处可见。如季度时间序列、月度时间序列、周度时间序列等。处理季节性时间序列只用以上介绍的方法是不够的。描述这类序列的方法之一是乘积季节模型。设季节序列的变化周期为s，即时间间隔为s的观测值有相似之处。首先用季节差分的方法消除周期性变化。季节差分算子定义为，ss=1-L(2.88)若季节性时间序列用表示，则一次季节差分表示为ytssyt=(1-L)yt=yt-yt-s(2.89)对于非平稳季节性时间序列，有时需要进行D次季节差分之后才能转换为平稳的序列。在此基础上可以建立关于周期为s的P阶自回归Q阶移动平均时间序列模型。sDsP(L)syt=Q(L)ut(2.90)对于上述模型，相当于假定是平稳的、非自相关的。当非平稳且存在自相关时，则可utut以把描述为utdp(L)ut=q(L)vt(2.91)其中为白噪声过程，分别表示自回归、移动平均算子的最大阶数，表示的差分次vtp,qdut数。把(2.91)式代入(2.90)式，于是得到乘积季节模型的一般表达式。sdDsp(L)P(L)syt=q(L)Q(L)vt(2.92)其中下标p,q,P,Q分别表示自回归、移动平均算子的最大滞后阶数，d,D分别表示差分和季节性差分次数。上式称作阶乘积季节模型。保证上式具有平稳性的(p,d,q)(P,D,Q)s条件是s的根在单位圆外；保证上式具有可逆性的条件是sp(L)P(L)=0q(L)Q(L)=0的根在单位圆外。当P=D=Q=0时，乘积季节模型退化为ARIMA模型。阶乘积季节模型表达为(1,1,1)(1,1,1)1271212(1-1L)(1-1L)12yt=(1-1L)(1-1L)vt(2.93)具有平稳性的条件是，，具有可逆性的条件是，12yt1<11<112yt1<11<1。阶乘积月度模型表达为(0,1,1)(0,1,1)121212yt=(1-1L)(1-1L)vt(EViews:DSDYMA(1)SMA(1))(2.94)即12yt=(1-1L)(vt-1vt–12)=vt-1Lvt-1vt–12+11Lvt–1212yt=vt-1vt–1-1vt–12+11vt–13(EViews:DSDYMA(1)MA(12)MA(13))(yt–yt-12)=vt-1vt–1-1vt–12+11vt–13yt–yt-12=vt-1vt–1-1vt–12+11vt–13用于预测的模型型式是yt=yt-1+yt-12–yt–13+vt-1vt–1-1vt–12+11vt–13(2.95)从上式可以看出乘积季节模型可以展开为ARIMA模型。只是模型的阶数较高而已。对乘积季节模型的阶数的识别仍然是依靠对相关图和偏相关图的分析。周期长度s可以通过对实际问题的分析以及相关图和偏相关图的分析得到。如果相关图和偏相关图既不截尾也不拖尾，不是呈线性衰减趋势，而是在变化周期的整倍数点上出现绝对值相当大的峰值并呈振荡式变化，就可以认为该时间序列可以用乘积季节模型描述。建立乘积季节模型，（1）首先要确定d,D。通过差分和季节差分把原序列变换为一个平稳的序列。令dDxt=syt（）然后用建立ss模型。乘积季节模型参数的估计与前2xtp(L)P(L)xt=q(L)Q(L)vt面介绍的估计方法相同。利用乘积季节模型预测也与上面介绍的预测方法类似。举例说明如下。例：社会商品零售额月度数据（）曲线见图（）。与时间呈指数关2.2yt2.17file:B2C3yt系且存在递增型异方差。对数的社会商品零售额月度数据（）曲线见图。与时Lnyt2.18Lnyt间近似呈线性关系。10007.08006.56006.04005.52005.0YLNY04.5787980818283848586878889787980818283848586878889图2.17yt图2.18Lnyt通过的相关图和偏相关图可以看到是一个非平稳序列（相关图衰减很慢）且LnytLnyt与其倍数的滞后期存在自回归关系。Lnyt128（Lnyt的相关图和偏相关图）对进行一阶差分，得。从的相关图和偏相关图可以看到，通过差分LnytLnytLnyt的平稳性得到很大改进，但与其倍数的滞后期存在显著的自相关关系。Lnyt12对进行一阶季节差分，得。从的相关图和偏相关图可以看到Lnyt12Lnyt12Lnyt12仍然是非平稳的。Lnyt0.3D2LNY0.40.20.10.20.00.0-0.1-0.2-0.2DLNY-0.3-0.47879808182838485868788897879808182838485868788892图2.19Lnyt图2.19Lnyt（Lnyt的相关图和偏相关图）90.50.20.40.10.30.20.00.1-0.10.0SDLNYDSDLNY-0.1-0.2787980818283848586878889787980818283848586878889图2.2012Lnyt图2.2112Lnyt12Lnyt的相关图和偏相关图12Lnyt的相关图和偏相关图对进行一阶差分和一阶季节差分，得（见图）。从的相关图和Lnyt12Lnyt=xt2.21xt偏相关图可以看到近似为一个平稳过程。分别估计的，xtyt(1,1,1)(1,1,0)12(1,1,0)(1,和阶乘积季节模型，得结果如下1,0)12(0,1,0)(1,1,1)12估计的模型是：(1,1,1)(1,1,0)1212(1+0.60L)(1+0.43L)12yt=(1+0.48L)vt(4.4)(5.6)(2.9)2R=0.33,DW=2.04,F=28.3,s.e.=0.036,Q15=8.32,Q40=17.9100.20.10.20.0-0.10.1-0.20.0-0.3-0.1ResidualActualFitted-0.2818283848586878889估计的模型是：(1,1,0)(1,1,0)121112(1+0.29L)(1+0.45L)12yt=vt(3.4)(5.6)2R=0.28,DW=1.67,F=45.9,s.e.=0.037,Q15=6.73,Q40=19.1估计的模型是：(0,1,0)(1,1,1)121212yt=(1-0.35L)(1-0.61L)vt(-4.4)(-9.1)2R=0.36,DW=1.86,F=71.9,s.e.=0.038,Q15=6.42,Q40=25.161213