计量经济学模型论文：计量经济学模型的贝叶斯估计_以经典单方程为例(1)

第 25 卷 第 5 期 天 中 学 刊 Vol. 25 No. 5 2010 年 10 月 Journal of Tianzhong Oct. 2010 收稿日期：2009-12-11 作者简介：赵健（1977―），女，河南新野人，讲师，博士研究生． 计量经济学模型的贝叶斯估计 ——以经典单方程为例 赵 健 1, 2 （1. 中南财经政法大学 统计与数学学院，湖北 武汉 430074；2. 黄淮学院 经济管理系，河南 驻马店 463000） 摘 要：文章以正态线性单方程为例，介绍了贝叶斯统计方法在计量经济学模型中的应用，并 分析 定性数据统计分析pdf销售业绩分析模板建筑结构震害分析销售进度分析表京东商城竞争战略分析 了该问题中贝 叶斯估计与普通最小二乘估计的区别和联系． 关键词：贝叶斯估计；贝叶斯定理；损失函数 0 引言 贝叶斯统计是由 T. R. Bayes 于 19 世纪创立的数 理统计的一个重要分支．20 世纪 50 年代，以 H. Robins 为代 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 的学者将经验贝叶斯方法用于计量经济学模型 并与经典方法相结合，此后这种方法得到了广泛应用． 贝叶斯估计对经典计量经济学模型估计方法的扩展在 于它不仅利用样本信息，同时也利用非样本信息．本 文以正态线性单方程为例，分析贝叶斯估计方法在计 量经济学模型中的应用． 贝叶斯估计是与经典估计方法相对的一种估计方 法，它的基本思路是：要估计的模型参数是服从一定 分布的随机变量，先根据经验给出待估参数的先验分 布信息——先验信息，然后将这些先验信息与样本信 息相结合，应用贝叶斯定理求出待估参数的后验分布， 再应用损失函数得出后验分布的一些特征值并将其作 为待估参数的估计量．贝叶斯估计与传统估计方法的 不同之处在于： 1) 关于参数的观点不同．经典估计方法认为待估 参数θ Θ∈ 具有确定性；贝叶斯估计方法认为待估参 数 θ 具有随机性，即在具体进行观测（得到样本 x） 之前人们根据经验对参数 θ 积累了一些知识，虽然 θ 的具体值未知，但它服从Θ 上的概率分布 ( )f θ （ ( )f θ 称为 θ 的先验分布）． 2) 利用的信息不同．经典方法只利用样本信息； 贝叶斯方法要求事先提供一个参数的先验信息（一般 根据专家经验提供）即非样本信息，在参数估计过程 中，这些非样本信息与样本信息一起被利用． 3) 对随机误差项的要求不同．经典方法中，除了 最大似然法，在参数估计过程中并不要求知道随机误 差项的具体分布形式，但在假设检验与区间估计时是 需要的；贝叶斯方法需要知道随机误差项的具体分布 形式． 4) 选择参数估计量的准则不同．经典方法一般以 最小二乘和最大似然为准则求参数估计量；贝叶斯方 法需要构造一个损失函数（一般采用二次损失函数）， 并以损失函数最小化为准则求参数估计量． 1 贝叶斯统计方法 1.1 贝叶斯统计方法的理论基础 定理 1 设 1 2 nA A A" "， ， ， ， 是一完备事件组，则对 ( ) 0P B > 的任一事件 B，有 ( ) ( ) ( )( )( ) ( ) ( )i iii j jj P A P B AP A BP A B P B P A P B A = = ∑ . (1) (1)式称为贝叶斯公式，其中： ( )iP A 和 ( )iP A B 分别 称为原因的先验概率和后验概率， 1 2 .i = "，， ( )iP A 是 在不知道事件 B 是否发生情况下诸事件发生的概率， 在获得新的信息后（事件 B 发生后）人们对诸事件发 生的概率 ( )iP A B 就有了新的估计． 定理 2 设 θ 为待估参数，θ 的先验分布为 ( )g θ ，X 中图分类号：F224.0 文献标志码：A 文章编号：1006-5261(2010) 05-0017-03 赵 健：计量经济学模型的贝叶斯估计——以经典单方程为例 ·18· 为样本观测信息，X 的密度函数记作 ( ) ( )f X g Xθ θ， 为 θ 的后验分布密度函数，则有 ( ) ( ) ( ) ( )( ) .( ) ( ) ( )d f X g f X gg X f X f X gθ θ θ θ θθ θ θ θ= = ∫ (2) (2)式中，对 θ 而言 ( ) ( )df X gθ θ θ θ∫ 是常数，即可 以认为 ( )f X 是常数．由于 ( )f X θ 在形式上同 θ 的似 然函数 ( )L Xθ 一致，所以(2)式可改写为 ( ) ( ) ( ) ( ) ( )g X f x g L X gθ θ θ θ θ∝ = . (3) 即后验信息正比于样本信息与先验信息的乘积． ( ) ( )f x gθ θ 称为 ( )g Xθ 的核，(3)式表明可以通 过样本信息对先验信息的修正来得到更准确的后验信 息．得到后验分布的密度函数后，就可以进行参数的 点估计、区间估计和假设检验． 例 设 2 2( )X N θ σ σ∼ ， ， 已知， 2( )Nθ μ τ∼ ， （先 验分布），μ 和 2τ 已知，求 θ 的后验分布、数学期望和 方差． 解：由题意知 2 2 2 2 ( ) ( )1( ) exp exp 2 22 x xf X θ θθ σ σσ − −⎡ ⎤ ⎡ ⎤= − ∝ −⎢ ⎥ ⎢ ⎥π ⎣ ⎦ ⎣ ⎦， 2 2 2 2 ( ) ( )1( ) exp exp 2 22 g θ μ θ μθ τ ττ − −⎡ ⎤ ⎡ ⎤= − ∝ −⎢ ⎥ ⎢ ⎥π ⎣ ⎦ ⎣ ⎦， { } [ ]{ } [ ]{ } ( ) ( )[ ]{ } ( ) 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 22 2 2 2 2 2 2 2 2 2 2 ( ) ( )( ) ( ) ( ) ( )( ) ( ) exp 2 2 1exp ( ) ( ) 2 1exp 2 2 2 1exp 2 2 2 exp 2 exp 2 f X gg X f X xf x g x x x x θ θθ θ θ τθ θ σ τ τ θ σ θ τσ τ τ θ θ τ σ θ θμσσ τ τ σ θ θ τ μσσ τ θ τ μστ σ θσ τ τ σ τ σ σ τ = − −∝ = − − = − − + − ∝ − − + − = − + − + ++⎧ ⎫⎡ ⎤= − −⎨ ⎬⎢ ⎥+⎩ ⎭⎣ ⎦ +∝ − ( ) 22 2 2 2 xτ μσθ τ σ ⎧ ⎫+⎡ ⎤−⎨ ⎬⎢ ⎥+⎣ ⎦⎩ ⎭ ， 所以 θ 的后验分布为 ( )2 2 2 2 2 2 2 2( ) ( ) ( )N xτ μσ τ σ σ τ τ σ+ + +， ， 因此 2 2 2 2( ) ( ) ( )E x xθ τ μσ τ σ= + + ， ( ) 2 2 2 2Var ( ) .xθ σ τ τ σ= + 1.2 损失函数 常用的损失函数有线性函数和二次函数，不同的 损失函数得到的参数估计值是不同的． 定理 3 设待估函数 ( )h θ 的取值于 R1，损失函数 为 2( ) ( )[ ( ) ]L d h dθ λ θ θ= −， ，0 ( )λ θ θ Θ< < ∞ ∈， ，则当 ( ) 1λ θ = 时 ( )h θ 的贝叶斯估计为 ( ( ) ( ) ) ( ( ) ) ( ( ) ) .E h x E x E h xλ θ θ λ θ θ= 2 单方程计量经济学模型贝叶斯估计的过程 单方程计量经济学模型贝叶斯估计的过程如下： 1) 确定模型的形式，指出待估参数 β ． 2) 给出待估参数 β 的先验分布．β 是一个多维向 量，需要给出多参数的联合先验信息，若无先验信息， 可取 β 为均匀分布．实际上常用的先验分布为自然共 轭分布，即 β 的密度函数（先验信息）、X 的密度函数 （样本信息）以及两者结合后产生的函数（后验分布） 服从同一分布规律． 3) 利用样本信息修正先验分布，并利用贝叶斯定 理导出 β 的后验密度函数． 4) 选择二次损失函数，并利用 β 的后验密度函数 和定理 3 进一步推断出 β 的点估计． 3 正态线性单方程计量经济学模型的贝叶斯估计 正态线性单方程计量经济学模型为 2~ (0 )Y X N Iβ μ μ σ= + ， ， (4) 3.1 有先验信息的贝叶斯估计 这种情况下， 2~ ( )Y N X Iβ σ， ， ( ) ( )f Y L Yβ β= ∝ [ ]2exp ( ) ( ) (2 ) .Y X Y Xβ β σ′− − − (5) β 的先验分布为自然共轭分布，即取正态密度函数 11( ) exp ( ) ( )2g βθ β β β β−⎡ ⎤′∝ − − ∑ −⎣ ⎦， (6) 其中 β 为待估参数的先验均值， β∑ 为待估参数的先 验协方差矩阵． 由贝叶斯定理，可得到 β 的后验密度函数为 { 2 1 2 1 2 1 2 1 2 ( ) ( ) ( ) exp 1 (2 ) [( ) ( ) g Y g L Y A A A A β β β σ β β β β •∝ ∝ − ′− − + }( ) ( )]Y X Y Xβ β′− − ， (7) 其中 2 1.A βσ −= Σ 令 1 21 2 ( )( ) 1 k n nk n AA W G XY β + ×+ × ⎡ ⎤ ⎡ ⎤= =⎢ ⎥ ⎢ ⎥⎣ ⎦⎣ ⎦ ， ， 则(7)式可改写为 [ ]2( ) exp ( ) ( ) (2 ) .g Y W G W Gβ β β σ′∝ − − − (8) 用 β 表示待估参数的后验均值， β∑ 表示待估参 数的后验协方差矩阵，并考虑关系 ( ) ( )W G W Gβ β′− − = ( ) ( ) ( ) ( )G G W G W Gβ β β β β β′ ′ ′− − + − − ， (9) ( ) ( ) 11 1 ( ) ( )G G G W A X X A X Xb X X X Y β β β −− − ′ ′ ′ ′= = + + ′ ′= ， ， 赵 健：计量经济学模型的贝叶斯估计——以经典单方程为例 ·19· （ b 是 β 的 OLS 估计值），舍去(9)式右边第二项后将 其代入(8)式，则有 2 2 1 2 2 ( ) exp ( ) ( ) (2 ) exp ( ) ( )( ) (2 ) exp ( ) ( )( ) (2 ) g Y G G A X X X Xβ β β β β β σ β β β β σ β β σ β β σ− ⎡ ⎤′ ′∝ − − −⎣ ⎦ ⎡ ⎤′ ′∝ − − + −⎣ ⎦ ⎡ ⎤′ ′∝ − − ∑ + −⎣ ⎦ 1exp ( ) ( ) 2ββ β β β−⎡ ⎤′∝ − − ∑ −⎣ ⎦， (10) 其中 1 1 2X Xβ β σ− − ′∑ = ∑ + ， (11) ( )1 1 2( )X X bβ ββ β σ− − ′= ∑ ∑ + ， (12) ( ) 1 .b X X X Y−′ ′= 式(10)是均值 β 和方差 1β−∑ 的多元正态分布的核，即 β 的后验密度函数为 ( ) ~ ( ) .Y N ββ β ∑， (13) 由定理 3 可知 β 的贝叶斯估计为 β ． 结论：(i) 后验精确度矩阵 1β−∑ 是先验精确度矩阵 1β−∑ 与样本信息精确度矩阵 2X X σ′ 之和，故后验精确 度总是高于先验精确度；(ii) 后验均值 β 是先验均值 β 与样本信息 OLS 估计值 b 的加权平均之和，权数为 各自的精确度． 3.2 无先验信息的贝叶斯估计 在待估参数一无所知的情况下，求贝叶斯估计时， 一般选取待估参数的先验分布为 ( )−∞ + ∞， 上的均匀 分布，且互不相关，于是 ( )1 2( ) ( ) ( ) kg g g g cβ β β β= ∝" ， 其中 ( ) 0 ( ) 1 ( ) ( ) k k k a b g b a a b ββ β ∉⎧= ⎨ − ∈⎩ ， ， ， ， 2~ ( )Y N X Iβ σ， ， [ ]2 ( ) ( ) exp ( ) ( ) (2 ) f Y L Y Y X Y X β β β β σ = ′∝ − − − . 这种情况下， [ ] { } 2 2 ( ) ( ) ( ) ( ) exp ( ) ( ) (2 ) exp [( ) ( ) ( ) ( )] (2 ) g Y g L Y L Y Y X Y X b X X b Y Xb Y Xb β β β β β β σ β β σ = ∝ ′∝ − − − ′ ′∝ − − − + ′− − [ ]{ }2exp ( ) ( ) (2 ) .b X X bβ β σ′ ′∝ − − − (14) β 的后验密度函数仍然呈正态分布，均值为 b，协方 差矩阵为 2 1( )X Xσ −′ ，即 2 1( ) ~ ( ( ) ) .Y N b X Xβ σ −′， (15) 因此， β 的贝叶斯估计为 b，b 是 β 的 OLS 估计值． 可见，无信息先验得到的 β 的贝叶斯估计与样本信息 的 OLS 估计相同，但是两者的含义不同．贝叶斯结论 中的 β 是随机的，而均值 b 在样本确定后是固定的； 样本信息的结论中， β 是期望值，而 b 是随机变量， 即有 2 1~ ( ( ) )b N X Xβ σ −′， ． 事实上，也可以直接由(10)―(12)式得到无信息先 验下的后验密度，只要把无信息先验作为有信息先验 的一种特殊情况，即无信息先验的精确度为 0．令 1β−∑ =0，代入(11)和(12)可得到 1 2X Xβ σ− ′∑ = ， 2 1 2( ) ( )X X X X b bβ σ σ• •−′ ′= = ， 2 1( ) ~ ( ( ) )Y N b X Xβ σ −′， ， 与(15)式相同． 参考文献： [1] 陈希孺．数理统计引论[M]．北京：科学出版社，1997． [2] 李子奈．高等计量经济学[M]．北京：清华大学出版社， 2000． [3] 李子奈．计量经济学[M]．2 版．北京：高等教育出版社， 2000． [4] [美]James O．Berger, Statistical decision theory and Bayes- ian analysis[M]．Springer-Verlag, 2ndEdi，1985． [5] [美]威廉 H.格林．经济计量分析[M]．北京：中国社会科 学出版社，2000． 〔责任编辑 张继金〕 Bayesian Estimation of Classical Econometric Linear Model ZHAO Jian1, 2 (1. Zhongnan University of Economic and Law, Wuhan Hubei 430074, China; 2. Huanghuai University, Zhumadian Henan 463000, China) Abstract: The application of Bayesian estimation methods are introduced by using normal linear single-equation econometric model as an example. The distinction between Bayesian estimation and ordinary least squares estimation (OLS ) of this econometric model are analyzed. Key words: Bayesian estimation; Bayesian theory; loss function