工程科技二维列联表

第四章二维列联表二维列联表?假设将n个个体按属性A和B分类，属性A有r类，属性B有c类，就形成了一张二维的r×c列联表。二维列联表?与四格表相类似，二维列联表同样有四种不同的抽样方式。?其中，单侧给定、总的 样本 保单样本pdf木马病毒样本下载上虞风机样本下载直线导轨样本下载电脑病毒样本下载 容量给定和完全随机三种情况较为常见，且这三种抽样方式下的检验方法完全相同。独立性与齐性?如果对任意的i和j，都有：，则称属性A与B独立。?如果A与B独立，则对任意j都与i无关?如果A与B独立，则对任意i都与j无关ijijppp???1111jrjjrjjrrppppppppp?????????????LLL1111iiciiciccppppppppp?????????????LLL独立性与齐性?此时，称属性A与B有齐性关系。?齐性关系描述了Ai类中Bj的条件概率完全相同，或在Bj类中Ai的条件概率完全相同。?因此，对于二维列联表属性A与B相互独立，等价于二者之间有齐性关系。?需要指出的是，在四格表中相互独立等价于不相关，可以用相关系数描述二者的关联程度。但在二维列联表中则不能使用。二维列联表的独立性检验?二维列联表独立性检验实质上是带参数的分类数据的检验问题。二维列联表的独立性检验【例4.1】为了解男性和女性对三种啤酒的偏好差异分别调查了1353个男性和636个女性，结果见表：问男性与女性对啤酒的偏好是否有显著差异。二维列联表的独立性检验?通过计算检验统计量的值得到：?说明男性与女性对啤酒的偏好有显著差异?可见，独立性问题的讨论仅仅是说明属性A与B有无关系，或是否相互独立，但不能给出关系的方向与强弱。222290.685((2)90.685)090.065((2)90.065)0pPGpP???????????，，相合性的度量与检验?相合性用来描述属性变量之间的相关情况，包括关联的方向和强度。?二维列联表根据属性的类型分为三类：–双向无序列联表–一向无序、一向有序列联表–双向有序列联表?实际上即使无序也可以定义为有序，或假设有序。这样，相合关系有两类：–正相合：属性A大的个体，属性B也往往较大；–负相合：属性A大的个体，属性B往往较小；相合性的度量与检验?在四格表中，用来判断属性A与B关联情况（相合性检验）的统计量U、χ2均包含一个共同因子：–n11n22-n12n21>0时，四格表正相合；–n11n22-n12n21<0时，四格表负相合；?有序属性数据相合关系的度量：–Pearson的矩相关系数–Spearman的等级相关系数–Kendall的τ相关系数——使用最多相合性的度量与检验?τ相关系数基本思路：–认为二维列联表均可定义为有序表；–对有序变量的赋值可以确定由小到大的顺序关系，但不影响相合关系的度量；最简单的赋值方法就是令–在二维表中，,1,,,1,,xiiryjjc????LL111r,1crcxinnyj?????????????????????????数据对如数据对有对，有对相合性的度量与检验–在不考虑同分对的情况下，τ系数以数据对中同序对与异序对的差为分子，以样本容量n可能形成的总数据对数为分母；即–其中：在二维表的任意两个单元格之间，若：?同序对:?异序对:?同分对:22()(1)sdsdnnnnnCnn??????,,ijijsxxyyGn???且记为,,ijijdxxyyHn???且记为,ijijxxyy??或)iijjxyxy其中(,、(,)为数据对的等级或顺序相合性的度量与检验?同分对可以有三种类型–属性A方向的同分对，即行等级或顺序相同的数据对，记为TA；–属性B方向的同分对，即列等级或顺序相同的数据对，记为TB；–属性A与B的同分对，即行顺序与列顺序相等的数据对，记为TAB；?因此有，21irAniTC????21jcBniTC????211ijrcABniiTC?????2(1)2nABABnnCGHTTT???????相合性的度量与检验?从τ系数的计算公式可知，在属性A与B正相合时，G比较大而H比较小；反之在A与B负相合时，G比较小而H比较大。因此，(G-H)的方向决定了相合性的方向。?在存在同分对的情况下，需要对相合性的度量进行修正。[(1)/2][(1)/2]ABGHnnTnnT???????相合性的度量与检验?τ系数的取值范围为[-1,1]之间–当H=0，且TA=TB=TAB时，完全正相合；?当r=c时，τ=1；–当G=0，且TA=TB=TAB时，完全负相合；?当r=c时，τ=-1；?当TA=TB=TAB时，说明每一行、每一列只有一个非零值；?当从左上角到右下角的对角线元素外的其余元素都等于0时，为完全正相合；?当从右上角到左下角的对角线元素外的其余元素都等于0时，为完全负相合；Gamma系数?除肯德尔的τ外，相合性度量还有伽马系数Gamma:?伽马的取值在[-1,1]之间，越接近1说明越趋向正相合，越接近-1说明为负相关。?当H=0时，γ=1；当G=0时，γ=-1。?τ与γ的比较：GHGH????Somer'sd系数?D系数有两类，分别定义为：?该系数取值范围在[-1,1]，常用于2×c或者r×2的列联表，前者适用于列属性依赖于行属性的情况，后者适用于行属性依赖于列属性的情况。?三个系数的比较：||,(1)/2(1)/2BAABABGHGHddnnTnnT????????B1B2B3B4B5A1***00A2000**B1B2B3B4B5A1***00A200***相合性的检验?从前面几个相关系数的计算公式可以看出，对二维列联表的相关性的检验，主要是对同序对与异序对的差进行检验，即检验G-H是否等于0。?令,于是有：?由于其标准误计算较为复杂，通常使用统计软件进行计算。zGH??(0,1)()zUNz??:22222(1)()zUz?????:方表的一致性检验?二维表中当r=c时，形成方表。?方表有一致性检验问题。【例4.3】两位检验员分别对72件产品进行检验的结果见表：问：他们的检验结果是否一致？一致性的度量?在二维列联表的相合性度量中，当除从左上角到右下角的对角线元素外其余都为0时，两种属性完全正相合。?在方表中，一致性可以理解为：从左上角到右下角的对角线元素表示结果一致，其值越大，表示一致性越高。因此，可以反映一致性的大小，称为观测一致率：?但这一度量值存在平均值为正的缺陷，由Cohen于1960年提出了Kappa系数。1q11122()/rrqnnnn????L一致性度量一致性的检验?Kappa系数中的π0就是,πe是π0的期望或均值，称为期望一致率，即两次试验结果由于偶然机会所造成的一致率；?当方表中左上到右下对角线以外元素均为0时，Kappa系数达到最大值1，即完全一致；当完全不一致时，Kappa等于0；?Kappa系数的取值在[0,1]之间；?Kappa<0.4时，认为一致性较差；?Kappa>0.8时，认为一致性较好；?0.4>Kappa>0.8时，认为一致性一般。1q一致性的检验?一般认为，计算的Kappa小于0时，属于偶然一致，即期望一致率大于观测一致率；?只有在Kappa大于0时，才进行一致性检验；?在计算kappa系数的方差基础上，可以构造检验统计量：?经计算，例4.3的kappa=0.361，kappa的标准误=0.0844，故U=4.277?很明显，原假设不成立，即不是偶然一致。~(0,1)()UND???独立性的期望频数定义?对于二维表，独立性的定义除基本的联合概率等于边缘概率乘积的方法外，还可以用期望频数。?若存在和，使任意的和都有：，则称属性A和B相互独立。?其中，mij为期望频数(证明见P96)。?主要用来描述完全随机泊松分布变量的抽样方式下，属性A与B的相互独立问题，即：?完全随机泊松分布情况下，属性A与B独立性检验与带参数的分类数据检验完全相同。(1,,)iir??L(1,,)jjc??Lijijijm???~()()ijijijnPmP???独立性的期望频数定义?公式可以理解为：–在A和B相互独立时，和是与有关的两个量。–由可知，，因此，可以认为和分别是属性A和B的效应。?对独立性的期望频数定义公式可以通过取对数将乘法转换为加法，即：?这就是对数线性模型(第7章)。ijijm???i?j?ijm~()ijijnPm()ijijijEnm????i?j?lnlnlnijijm????不完备列联表?当某些nij=0时，称这些格为空格；有空格的列联表称为不完备的列联表。?对于一般完备列联表讨论独立性，对不完备列联表讨论拟独立性。?独立性的期望频数定义可推广到不完备列联表的分析。?令S表示列联表中非空格构成的集合，?若存在mij=αiβj，称属性A与B拟独立。?其中，mij表示期望频数，即{(,):(,)1,,;1,,}Sijijirjc???LL不是空格，()ijijmEn?不完备列联表?对不完备列联表中元素的估计，可以在假定完全随机泊松分布的基础上，得到似然方程组：?在保持边缘和不变的前提下，解出期望频数。?有的情况下期望频数的极大似然估计难以直接得到，需要通过迭代算法求解。?迭代算法就是在保持边缘和不变时，寻找放入不完备列联表的非空格中，也就是满足以上方程组成立。,1,,,1,,iiijjjnirnjc?????????????????LLij??迭代估计法?迭代算法的步骤：–1、令非空格上的期望频数估计的初始值为1，–2、调整该估计值，令：–3、继续调整以上估计值，令：(0)?1,(,)ijmijS??(0)(1)(0){:(,)}???ijijiijjijSmmnm????(1)(2)(1){:(,)}???ijijjijiijSmmnm????迭代估计法–4、将第二次迭代得到的值作为初始估计，重复前面的步骤2和步骤3；–5、直至相邻两次迭代得到的估计仅有比较小的差别，最后得到的迭代估计就是期望频数的极大似然估计。?以上步骤可以在 表格 关于规范使用各类表格的通知入职表格免费下载关于主播时间做一个表格详细英语字母大小写表格下载简历表格模板下载 上完成，每次估计所有非空格的迭代值，直到精度符合要求即可。?不完备列联表期望频数的ML估计除上述迭代法外，还可以通过对数线性模型法，借助统计软件进行估计。不完备列联表的检验?对拟独立的不完备列联表的ML估计后，需要进行拟独立性检验；同时，考虑不完备子集的拟独立性也是研究完备表的一种方法。?原假设应为：?检验统计量为：0:(1,,)(1,,)ijijijHirjcm???????LL存在和，使得222(,)2(,)?()~((1)(1))??2lnijijijSijijijijSijnmrcmmmGnn?????????????????????