[经济学]北大应用多元统计分析课件第三章

应用多元统计分析 第三章 多元正态总体 参数的假设检验(一) 北大数学学院 §3.1 几个重要统计量的分布 一、正态变量二次型的分布 二、威沙特分布 三、霍特林T2分布 四、威尔克斯统计量 §3.2 单总体均值向量的检验及置信域 §3.3 多总体均值向量的检验 第三章 多元正态总体参数的假设检验 目 录(一) 北大数学学院 一元统计中,参数μ,σ2的检验涉及到一个总体、二个总体,乃至多个总体的检验问题; 推广到p元统计分析中，类似地对参数向量μ和参数矩阵Σ 涉及到的检验也有一个总体、二个总体,乃至多个总体的检验问题。 第三章 多元正态总体参数的假设检验 北大数学学院 在一元统计中，用于检验μ, σ2的抽样分布有χ2分布,t 分布,F分布等,它们都是由来自总体N(μ, σ2)的样本导出的检验统计量. 推广到多元统计分析后，也有相应于以上三个常用分布的统计量: Wishart, Hotelling T 2,Wilks Λ统计量,讨论这些统计量的分布是多元统计分析所涉及的假设检验问题的基础. 第三章 多元正态总体参数的假设检验 北大数学学院 设Xi ～N1(μi ,σ2)(i =1,...…,n),且相互独立，记  第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--分量独立的正态变量二次型 一般情况(μi ＝0，σ2 ≠1时), 结论1 北大数学学院 结论2 当μi≠0(i=1,…,n),σ2 =1时,X′X的分布常称为非中心χ2分布. 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--分量独立的正态变量二次型 定义3.1.1 设n维随机向量X～Nn(μ,In) (μ≠0),则称随机变量ξ＝X'X为服从 n个自由度,非中心参数 的χ2分布，记为 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--分量独立的正态变量二次型 则 结论3 设X～Nn(0 ,σ2In), A为n阶对称方阵, rk(A)= r,则二次型 X'AX/σ2～χ2(r)  A2＝A(A为对称幂等阵). 特例:当A=In时, 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--非中心 t 分布和F分布 定义3.1.2 定义3.1.3 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--非中心t分布的应用 一元统计中，关于一个正态总体N(μ,σ2)的均值检验中，检验H0：μ＝μ0时，检验统计量 否定域为{|T|＞λ}，其中λ满足： P{|T|＞λ}=α(显著性水平). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--非中心t分布的应用 当否定H0时，可能犯第一类错误，且 第一类错误的概率＝P｛“以真当假”｝ ＝P｛|T|＞λ|μ＝μ0｝ ＝显著性水平α. 当H0相容时，可能犯第二类错误，且 第二类错误的概率＝P｛“以假当真”｝ ＝P｛|T|≤λ|μ=μ1 ≠μ0 ｝ =β. 此时检验统计量T～t(n-1,δ),利用非中心 t分布可以计算第二类错误β的值. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布(威沙特分布)  Wishart分布是一元统计中χ2分布的推广.多元正态总体Np(μ,Σ)中,常用样本均值向量X作为μ的估计，样本协差阵S＝A/(n-1)作为Σ的估计.由第二章的定理2.5.2已给出了X～Np(μ,Σ/n).S~?. 一元统计中，用样本方差 作为σ2的估计，而且知道 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布(威沙特分布) 推广到p元正态总体,样本协差阵S＝A/(n-1) 及随机矩阵A(离差阵)的分布是什么? 设X(α) (α＝1,…,n)为来自Np(0,Σ)的随机样本,考虑随机矩阵 的分布.当p=1时， 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布(威沙特分布) 推广到p维正态总体时，随机矩阵W的分布是什么? 定义3.1.4 设X(α) ～Np(0,Σ) (α＝1,…,n)相 互独立，则称随机矩阵 的分布为Wishart分布(威沙特分布)，记 为W～Wp(n,Σ). 显然p=1时 , 即 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布(威沙特分布) 一般地,设X(α)～Np(μ,Σ) (α＝1,…,n) 相互独立,记 则称W＝X'X服从非中心参数为Δ的非中心Wishart分布,记为W～Wp(n,Σ,Δ). 其中 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布(威沙特分布) 当X(α)～Np(μα ,Σ) (α＝1,…,n) 相互独立时，非中心参数 这里 其中p为随机矩阵W的阶数,n为自由度,一元统计中的σ2对应p元统计中的协差阵Σ. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布的性质 性质1 设X(α)～Np(μ,Σ) (α＝1,…,n)相互独立，则样本离差阵A服从Wishart分布，即 证明 根据第二章§2.5的定理2.5.2知 而Zα～Np(0,Σ)(α=1,…,n-1)相互独立,由定义 3.1.4可知A～Wp(n-1,Σ). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布的性质 由于Wishart分布是χ2分布的推广,它具有χ2分布的一些性质. 性质2 关于自由度n具有可加性： 设Wi ～Wp(ni,Σ) (i＝1,…,k)相互独立，则 性质3 设p阶随机阵W～Wp(n,Σ), C是m×p常数阵,则m阶随机阵CWC′也服从Wishart分布,即 CWC′～Wm(n,CΣC′). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布的性质 证明 其中 Zα～Np(0,Σ)(α=1,…,n)相互独立. 令Yα=CZα,则Yα～Nm(0,CΣC′). 故 由定义3.1.4有: 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布的性质 ① aW～Wp(n,aΣ) (a＞0，为常数). 在性质3 中只须取C＝a1/2 Ip，即得此结论. 特例： ② 设l′＝(l1,…,lp)，则 l´Wl＝ξ～ W1 (n,l´Σl), 即 ξ～σ2χ2(n) (其中σ2＝l´Σl). 在性质3中只须取C＝l´,即得此结论. 思考:试问随机阵W的对角元素Wii的分布？ 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布的性质 性质4 分块Wishart矩阵的分布:设X(α) ～ Np(0,Σ) (α＝1,…,n)相互独立，其中 又已知随机矩阵 则 (习题3-4) 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布--Wishart分布的性质 性质5 设随机矩阵W～Wp(n,Σ)，则 E(W)＝nΣ. 证明:由定义3.1.4,知 其中Zα～Np(0,Σ)(α=1,…,n)相互独立.则 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布 一元统计中, 若X～N(0,1),～ χ2(n) ,X与  相互独立,则随机变量  下面把 的分布推广到p元总体. 设总体X～Np(0,Σ)，随机阵W ～ Wp(n,Σ),我们来讨论T2＝nX'W -1 X的分布. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布 定义3.1.5 设X～Np(0,Σ),随机阵W～Wp(n,Σ) (Σ0, n≥p),且X与W相互独立, 则称统计量T2＝nX′W-1 X 为Hotelling T2 统计量,其分布称为服从n个自由度的T2 分布,记为T2 ～ T2 (p,n). 更一般地,若X～Np(μ,Σ) (μ≠0),则称T2 的分布为非中心Hotelling T2 分布，记为 T2 ～ T2 (p,n,μ). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 性质1 设X(α) ～ Np(μ,Σ) (α＝1,…,n) 是来自p元总体Np(μ,Σ)的随机样本, X和A分别为总体Np(μ,Σ)的样本均值向量和离差阵,则统计量 事实上,因 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 而A～Wp(n-1,Σ),且A与X相互独立.由定义 3.1.5知 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 性质2 T2与F分布的关系:设T2～T2 (p,n)， 则 在一元统计中 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 当p=1时,一维总体X～N(0,σ2)， 所以 注意:因 这是性质2的特例:即p=1时,T2~F(1,n). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 一般地：(性质2的严格证明见参考文献[2]) 其中ξ＝X′Σ-1 X～χ2(p,δ) (δ＝0)，还可以证明 χ2(n-p+1),且ξ与η独立. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 性质3 设X～Np(μ,Σ), 随机阵W～Wp(n,Σ) (Σ0, n≥p),且X与W相互独立, T2＝nX′W -1 X 为非中心Hotelling T2 统计量(T2 ～ T2 (p,n,μ)).  则 其中非中心参数 . ～ 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 或 性质3 设X(α) ～ Np(μ,Σ) (α＝1,…,n) 是来自p元总体Np(μ,Σ)的随机样本, X 和A分别为样本均值向量和离差阵.记 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 一元统计中(p=1时),t 统计量与参数σ2无关.类似地有以下性质. 性质4 T2统计量的分布只与p,n有关,而与Σ无关. 即 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Hotelling T 2分布的性质 事实上,因X～Np(0,Σ) (Σ＞0),W～Wp(n,Σ),则Σ-1/2X～Np(0,Ip)， 因此 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ分布的定义 一元统计中,设ξ～χ2(m),η～χ2(n), 且相互独立,则 在总体N(μ1,σ2(x))和N(μ2,σ2(y))方差齐性检验中,设X(i)(i=1,…,m)为来自总体N(μ1,σ2(x))的样本, Y (j) (j=1 ,…,n)为来自总体N(μ2,σ2(y))的样本.取σ2(x)和σ2(y)的估计量(样本方差)分别为 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ分布的定义 检验统计量 p元总体Np(μ,Σ)中,协差阵Σ的估计量为A/(n-1)或A/n.在检验H0:Σ1＝Σ2时,如何用一个数值来描述估计矩阵的离散程度呢.一般可用矩阵的行列式、迹或特征值等数量指标来描述总体的分散程度. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ分布的定义 定义3.1.6 设X～Np(μ,Σ),则称协差阵的行列式|Σ|为X的广义方差.若X(α) (α＝1,…, n ) 为p元总体X的随机样本，A为样本离差阵, 有了广义方差的概念后,在多元统计的协差阵齐次检验中,类似一元统计,可考虑两个广义方差之比构成的统计量——Wilks统计量的分布. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ分布的定义 定义3.1.7 设A1～Wp(n1,Σ) , A2～Wp(n2,Σ) (Σ＞0,n1≥p), 且A1与A2独立, 则称广义方差之比 为Wilks(或Λ)统计量,其分布称为Wilks(威尔克斯)分布,记为 Λ～Λ(p,n1,n2) (或Λp,n1,n2) 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 在实际应用中,常把Λ统计量化为T2统计量,进而化为F统计量,利用我们熟悉的F统计量来解决多元统计分析中有关检验的问题. 结论1 当n2＝1时,设n1=n＞p,则 注意:在这里记号Λ(p,n,1)有两重含义:①统计量(也是随机变量); ②其分布是参数为p,n,1的威尔克斯分布. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 或 证明 设X(α) (α＝1,…,n,n+1)相互独立同Np(0,Σ)分布,显然有 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 由定义3.1.7，知 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 利用分块矩阵求行列式的公式(见附录的推论4.1): 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 所以 结论2 当n2＝2时,设n1＝n＞p,则 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 结论3 当p=1时，则 因p=1时,Λ(1,n1,n2)就是ß (n1 /2,n2 /2) 利用贝塔分布与F分布的关系,即有以上结论. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.1 几个重要统计量的分布-- Wilks Λ统计量的性质 结论4 当p=2时，则 结论5 当n2＞2,p＞2时,可用χ2统计量或F统计量近似. Box(1949)给出以下结论： 设Λ～Λ(p, n, n2),则当n→∞时，  -rlnΛ～χ2(p n2 ), 其中r = n-(p- n2+1)/2. (二个重要结论不要求) 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 在多元统计分析中,考虑的总体是p维正态总体Np(μ,Σ),关于均值向量的检验问题经常是需要的. p元正态随机向量的每一个分量都是一元正态变量,关于均值向量的检验问题能否化为 p个一元正态的均值检验问题呢?显然这是不完全的.因为p个分量之间往往有互相依赖的关系,分开作检验,往往得不出正确的结论.但我们可以构造出类似于一元统计中的统计量,用来对均值向量进行检验. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 关于均值向量的检验包括: ① 一个p元正态总体Np (μ,Σ),检验 H0: μ＝μ0; ② 二个p元正态总体Np(μ1,Σ1)和Np (μ2,Σ2)，检验H0: μ1＝μ2 ③ k个p元正态总体Np(μi,Σ)(i＝1,…,k),当协差阵相等时检验k个均值向量是否全相等(即多元方差分析). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 设总体X～Np(μ,Σ),随机样本X(α) (α＝1,…,n).检验 H0: μ＝μ0 (μ0为已知向量),H1: μ≠μ0 1. 当Σ＝Σ0已知时均值向量的检验 利用二次型分布的结论(“2.结论1”)知 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 取检验统计量为 按传统的检验方法,对给定的显著水平α,查χ2分布临界值表得λα : 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 由样本值x(α) (α＝1,…,n),计算X及T20值,若T20 ＞λα,则否定H0,否则H0相容. 利用统计软件(如SAS系统),还可以通过计算显著性概率值(p值)给出检验结果,且由此得出的结论更丰富. 假设在H0成立情况下,随机变量T20 ～χ2(p),由样本值计算得到T20的值为d,可以计算以下概率值： p=P{ T20 ≥d }, 常称此概率值为显著性概率值，或简称为p值. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 对给定的显著性水平α,当p值＜α时(即d值大,X与μ偏差大),则在显著性水平α下否定假设H0 ；在这种情况下,可能犯“以真当假”的第一类错误,且α就是犯第一类错误的概率. 当p值≥α时(即d值小, X与μ偏差小),,则在显著性水平α下H0相容；在这种情况下，可能犯“以假当真”的第二类错误,且犯第二类错误的概率β为 β=P{ T20 ≤λα|当μ=μ1≠μ0 }, 其中检验统计量T20 ～χ2(p,δ),非中心参数 δ=n(μ1 - μ0)′(Σ0 )-1(μ1 - μ0 ). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 p值的直观含义可以这样看,检验统计量T20的大小反映X与μ0的偏差大小,当H0成立时T20 值应较小.现在由观测数据计算T20值为d；当H0 成立时统计量T20 ～ χ2(p),由χ2分布可以计算该统计量≥d的概率值(即p值). 比如p值=0.02＜α=0.05,表示在μ＝ μ0的假设下，观测数据中极少会出现T20的值大于等于d值的情况，故在0.05的水平下有足够的证据否定原假设，即认为μ与μ0 有显著地差异. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 又比如当p值=0.22≥α=0.05时,表示在μ＝μ0的假设下，观测数据中经常会出现T20的值大于等于d值的情况，故在0.05的水平下没有足够的证据否定原假设， 即认为μ与μ0 没有显著地差异. 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 2. 当Σ未知时均值向量的检验 当p=1时(一元统计)，取检验统计量为 或等价地取检验统计量 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 推广到多元,考虑统计量 因 离差阵 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验 由定义3.1.5可知 利用T 2与F分布的关系，检验统计量取为 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 例3.2.1 人的出汗多少与人体内钠和钾的含量有一定的关系.今测量了20名健康成年女性的出汗量(X1)、钠的含量(X2)和钾的含量(X3)(数据见表3.1).试检验 H0:μ=μ0=(4,50,10)′， H1: μ≠μ0 . 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 解 记随机向量X= (X1,X2,X3)′,假定X～N3(μ,Σ) . 检验 H0: μ＝μ0， H1：μ≠μ0 .取检验统计量为 由样本值计算得: 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 对给定α=0.05,按传统的检验方法,可查F分布临界值表得λα=F3,17(0.05)=3.2,比较由样本值计算得到的F值及临界值,因F值=2.9045＜3.2,故H0相容. 利用统计软件进行检验时,首先计算p值(此时检验统计量F～F(3,17))： p=P{F≥2.9045}=0.06493 . 因p值=0.06493＞0.05=α,故H0相容.在这种情况下，可能犯第二类错误,且第二类错误的概率为 β=P{ F≤3.2|μ=X }=0.3616 (假定总体均值μ=μ1≠μ0,取μ1=X). 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 proc iml; n=20; p=3; m0={4 50 10}; use d321; /* 使用SAS数据集d321中的3个变量 */ xa={x1 x2 x3}; read all var xa into x; /* 把 d321中三个变量的所有观测数据读入矩阵X */ ln={［20］ 1} ; /* 行向量ln由20个均为1的元素组成*/ x0=(ln*x)/n ; /* 计算样本均值行向量X′ */ xm=x0-m0;  以上计算结果可以用SAS/IML计算,SAS程序如下 (假设表3.1的数据已生成名为d321的SAS数据集)： (yydy321a.sas) 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 mm=i(20)-j(20,20,1)/n; /*计算矩阵(In-J/n) */ a=x｀*mm*x; /* x｀表示计算矩阵X的转置 */ ai=inv(a); /* 计算样本离差阵A和A的逆 */ dd=xm*ai*xm｀; d2=dd*(n-1); t2=n*d2; /*计算D2和T2 */ f=(n-p)*t2/((n-1)*p); /*计算检验统计量F值 */ print x0 a ai d2 t2 f; /*输出有关计算结果 */ p0=1-probf(f,p,n-p); /* 计算显著性概率值(p值) */ fa=finv(0.95,3,17); /* 计算α=0.05的临界值λα */ beta=probf(fa,p,n-p,t2); /* 计算第二类错误β值 */ print p0 beta; run; 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 proc iml; n=20; p=3; x={3.7 48.5 9.3 , 5.7 65.1 8.0 , 3.8 47.2 10.9 , 3.2 53.2 12.0 , 3.1 55.5 9.7 , 4.6 36.1 7.9 , 2.4 24.8 14.0 , 7.2 33.1 7.6 , 6.7 47.4 8.5 , 5.4 54.1 11.3 , 3.9 36.9 12.7 , 4.5 58.8 12.3 , 3.5 27.8 9.8 , 4.5 40.2 8.4 , 1.5 13.5 10.1 , 8.5 56.4 7.1 , 4.5 71.6 8.2 , 6.5 52.8 10.9 , 4.1 44.1 11.2 , 5.5 40.9 9.4 }; m0={4 50 10}; ln={[20] 1} ; x0=(ln*x)/n; print x0; 解二: (yydy321b.sas) 北大数学学院 第三章 多元正态总体参数的假设检验 §3.2 单总体均值向量的检验—例3.2.1 xm=x0-m0; print xm; mm=i(20)-j(20,20,1)/n; a=x`*mm*x; print a; ai=inv(a); print ai; dd=xm*ai*xm`; d2=(n-1)*dd; t2=n*d2; f=(n-p)*t2/((n-1)*p); print dd d2 t2 f; p0=1-probf(f,p,n-p); print p0; fa=finv(0.95,p,n-p); beta=probf(fa,p,n-p,t2); print fa beta; run;