一致性检验方法的合理应用

·228·一致性检验方法的合理应用李春波何燕玲张明园在进行多中心临床试验研究或大规模流行病学调查之前，需要通过小规模的重复测量来评价测试者(或仪器、量 表 关于同志近三年现实表现材料材料类招标技术评分表图表与交易pdf视力表打印pdf用图表说话 pdf 、方法等)的信度与效度，以决定在大规模调查时控制测量误差的策略。这就涉及到一致性检验(testofconcordance，teStofagreement)问题[““。初学者往往对其中的一些用法、统计量及计算等存在混淆，本文就如何选择一致性检验方法及利用有关统计软件等予以简要介绍。1测量误差与一致性检验‘”41测量误差是调查研究中偏倚(bias)的主要来源，它有时可导致与事实相悖的结论。因此选择或发展准确的测量工具是研究中至关重要的一步。评价测量工具的准确性或其“品质”主要包括信度(reliab弧y)和效度(validity)两个指标。信度指测量结果的稳定程度，若用某量表反复测量，其多次测量结果的一致性程度或重现性(reproducibility)就叫信度。效度是指测量工具实际能测出其所要测量的真实指标的程度。有关信度和效度的详细内容本文不再展开，但其评价方法之一便是一致性检验。由于评定者或调查员是测量误差的一个重要来源，本文所讨论的一致性检验主要指对观察者或评定者使用某工具对观测对象的测量结果的评价(inter—raterreliability)。评价一致性程度的具体方法有一致性相关系数、Kappa统计量、Kendall一致性系数(w)和组内相关系数(IntraclaSscorrela．tioncoefficient，ICC)等。2不同数据类型与一致性检验方法的选择n“⋯7]数据类型可分为两大类：属性变量(categoricalvariables)和连续变量(continuousvariables)，其中属性变量包括名义变量(nominalvariab】es)、二分变量(dichotomousvariableS)和等级变量(ordinalvariables)。在进行一致性检验时，应根据测量结果的数据类型，选择适当的统计量，见表1。3一致性检验方法的具体计算 公式 小学单位换算公式大全免费下载公式下载行测公式大全下载excel公式下载逻辑回归公式下载 与示仞口“13．1Kappa的计算公式及其意义Kappa统计量是比较两个或多个观测者对同一事物，或作者单位：200065同济大学附属同济医院，上海第二医科大学精神医学教研室博士研究生(李春波)l上海市精神卫生中心临床流行病学研究室，上海第二医科大学精神医学教研室(何燕玲张明园)·讲座·表l不同数据类型与统计方法选择观测数据类型统计量属性变萤名义变量～Kappa如：地点(北京、上海、重庆、天津)，婚姻状态(已婚诛婚、其它)。二分变量Kappa如：有、无，阳性、阴性等。有东变量加权Kappa，或KendalJ如：严重程度(轻度、中度、重度)等。相关系数连续变量借助于方差分析的组如：血压，心率，体重等。内相关系数[In”aclasscorrelationcoefficicentviatheanalysisofvari—ance，ICCl1．k个评定者对同一样本进行n次ICC：单因素测量，1个评定者对n个样本进行k次测量2．k个(全部)评定者对n个样本IIcc：两因素固定效应次测量3．k个(随机)评定者对n个(随机)lCc：两因素随机效应样本1次测量观测者对同一事物的两次或多次观测结果是否一致，以由于机遇造成的一致性和实际观测的一致性之间的差别大小作为评价基础的统计指标。当效应(response)为名义变量或二分变量时，使用Kappa统计量}效应为有序变量时，首选Kendall一致性系数(Kendall’scoefficientofconcordance)或力口权Kappa。3．1．1Kappa计算公式(数据格式见表2)表2Cohen’sK和k计算数据格式，IVIeasurelMeasure2Pij=nij／Nn为处于ij格子的数值，x为效应，N为总数；Mea—sufe为评定者或仪器等X观察一致率Po—ZP。．iⅡ1mn．．tXXx蛆酩．●●3．．．ZZ20毗眈吣1i1^l●吡眈吣123nⅨ●．啡娃蛐．．眦始．哪n、。m万方数据上海精神医学2000年第12卷第4期期望一致率Pe一艺(ri*8j)I矗lKappa值K一(Po—Pe)／(1一Pe)Kappa 标准 excel标准偏差excel标准偏差函数exl标准差函数国标检验抽样标准表免费下载红头文件格式标准下载 误s．e．(K)一SQRT{(a十b—c)／[(1一Pe)“2]*n)(sQRT开平方，“2平方，下同)a一∑P“[1一(ri+sJ)(1一K)]“2IⅡlXXb一(1一K)‘2乏ZP：j(n+Sj)、2(i≠j)l葛Ij=Ic一[．c—Pe(1一K)]‘295％可信限K—1．96*s．e．(K)，K+1．96*s．e．(K)显著性检验z—K／s．e．(K)3．1．2加权Kappa计算公式(数据格式见表2，实例见表3)表3A、B医师对100例精神分裂症患者的病情评定‰=o．67z，s．e．(．c-)=o．068(SAs结果输出为渐近标准误：ASE)，Z一9．88，P—O．oo，95％CI：o．538～O．806加权Kappa值k=(Po—Pe)／(1～Pe)观察一致率Po—z∑wijPi，IIll嚣l期望一致率Pe一乏乏wi，riSj加权系数w；j—l一[(i—j)‘2／(k～1)‘2]Kappa标准误s．e．(Kw)=SQRT{(a—b)／[(1一Pe)‘2]*n}a一=乏Pij[wij一(wi+w，)(1一‰)]‘2b一[‰一Pe(1一‰)]‘2wi一艺8jwuwj—ZriwⅡj正lI罩195％可信限‰一1．96*s．e．(‰)，k+1．96*s．e．(．c霄)显著性检验Z—Jc霄／s．e．(‰)‘sAs(6．11或以上)程序命令：dataabcIdoB—lto3；doA=lto3rinputcount@@；卜output；endIend}cardsl、65324106127；pmcfreq}weightcount；tablesA*B／agree；run；3．1．3Kappa系数与一致性程度LandisJR和K0chGG(1977)将Kappa系数的大小划分了六个区段，分别代表一致性的强弱程度n3。当Kappa系数小于o：一致性程度极差，O～o．2：微弱，o．2l～o。4；弱，o．4l～o．6：中度，o．61～o．8：显著(或高度～致)，o．81～1．o：极·229·佳。近年也有统计学家针对小样本的一致性检验提出了修正建议，尤其是在计算Kappa系数的可信限时，应选择不同的计算方法‘”]。3．2Kendall相关系数当效应为有序变量时，可通过Kendall相关分析进行一致性检验。对于多评定者对多个效应(属性数据)的评判，其数学公式较为繁琐，请参考有关文献n“’1“。该过程可使用sAS或SPSs的宏命令如“％magree”实现，直接得出Kendan相关系数和Kappa系数：SAS6．09或以上版本：例子：5名医师对lo名患者进行症状严重程度(1、2、3)评定。首先运行宏命令：“％magree”，再运行以下程序：title”AnalysisofdatafromFleiss(1981)”；dataaldos=1to10；dor=1to5linputy@@IoutputIendlend；ca，ds；l2222ll33333333111l3lll3312222lll11ZZ2231333311133；％magree(data=a，items=s，raters—i，respon靴=y)IKappa=0．42SE=0．07Z=5．83P=0．00Xend_Il·sC吨HkkntofCon∞rdancelO．49F=3．85P=0．OO3．3借助于方差分析的组内相关系数(ICc)计算对于连续变量一致性程度的测量，一般应用ICC进行检验。例如某研究需要培训有关人员对BPRs、PANSs等量表的使用，培训结束后受训人员对数个患者进行评估，所得量表分数即可用ICC方法进行一致性检验。但具体研究时应根据实际情况使用不同的方差分析模型。如下所示(实例见表5、表6)。表4方差来源分析表a；单因素方差模型的随机误差；b：双因素、交互作用方差模型的随机误差3．3．1单因素模型K个评定者，每个评定者对同一样本进行n次测量，或一个评定者，n个样本，每个样本进行k次测量。应用单因素方差分析的组内相关系数。3．3．2两因素模型包括两种情况：两因素方差随机效应模型(two—wayra“ommodel)：从所有可能的总体中随机抽取的评定者(k)对所有被试者(n)进行一次测量}两因素方差固定效应模型万方数据·230·(two一Ⅵrayfixedmodel)：所有评定者(k)对所有被试者(n)进行(一次)测量。表5例子：7名北美专家评定健康相关生活质量8种方法的总分¨1平均方差相应标签方差分析模型Icc①单因素方差模型计算公式：R一(BMS—wMS)／[BMS+(K一1)wMS]②随机效应模型计算公式：R一(BMS—EMS)／[BMS+(k一1)EMS+k(JMS—EMS)／n]③固定效应模型计算公式：R=(BMS—EMS)／[BMS+(k—1)EMS]注：wMS单因素模型处理内随机误差均方，JMs评定者间平均方差，BMS受试者间平均方差，EMS两因素模型处理内随机误差均方。SAS程序命令：PROCGLM；CLASSRATERSRATEESlMODELX—RATEESlRUNlPROCGLM，CLASSRATERSRATEES；MODELX—RATERSRATEESRATERS*RATEESlRUNlSAs宏命令可直接计算出Icc值，SPss8．o以上亦可直接对IcC进行统计。详见附录解释。3．3．3ICC与一致性程度ICC可应用于许多方面，本文仅介绍用于检验评定者(观察者)间的信度，即检验一致性程度。其经典文献是shroutPE和FleissJL(1979)提出的计算方法‘川。ICc计算公式的溯源(Ebel[121)：假设A是评定指标由于评定对象本身的不同所引起的真实变异，B是由于评定者问不可靠的评定引起的误差变异。ICC本身是一个比值：ICC—A／(A+B)。即被评定者间的真实变异占总体变异(真实变异加上由于评定者间的误差)的比值。计算推导过程由此进一步衍生。lcC接近1也就是B接近o，提示总体变异仅由被评定者所致。例如ShanghaiArchivesofPsychiatry，2000，V01．12，No．4所有评定者it受试者的评定均为同一个数值。当评定者是来自某研究的全体还是全体的一个随机样本时，ICC的计算公式发生相应变化。Icc的显著性与可信限最好也同时给出。对I够的理解【1“：<o．4：重现性(一致性)差；o．4≥ICC<o．75：提示重现性一般到好；≥o．75：提示有非常好的重现性。ICC通常应在o．7以上。4小结在分析一致性资料时最常见的错误是没有一个清晰的目标。仅仅为了“测量一致性”、“找出评定者是否一致”是不够的，应考虑进行测量的理由，及选用哪一种统计方法最恰当。例如，评定一致性检验的研究经常用于评价一个新的评定系统或工具，如果该研究是在工具的发展阶段进行，则应使用一些能够识别工具如何被改进以提高一致性的方法，来分析数据}如果这个工具已经最终定型，同样的方法便没什么帮助了。一致性研究还常被用于作为一种间接的办法，检验一个新评定系统或工具的效度。遵循简单原则：学会使用一些简单、基本的统计方法来解决实际问题。因为方法越复杂，犯错误的机会也就越多。参考文献lBarktoJJ，CarpenterWT．ont11emethods：mdtheory0freIiabmty．TheJournalofNervousAndMentalDisorder，1976，163(5)：307～3172颜文伟．检验一致性的统计方法．中华神经精神科杂志，1986，19(6)：367～3713方积乾主编．医学统计学与电脑实验．上海：上海科学技术出版社，1997，240～2444Amstro“gBK，WhiteE，SaracciR．Principlesofexposuremea—surementinepidemiology．NewYork：OxfordUniversityPress，1992，78～1125Land；sJR。KochGG．T11emeasurementofobserveragreementforCategoricaldata．Biometrics，1977，33：159～1746HalIJN．Inte卜raterreUabilityofwardrnt；ngs‘：ales．B“tJPsychi一{代，1974，125：248～2557SpitzerRL，CohenJ，FleissJL，eta1．Quantificationof{Igree—mentinpsycll．atrIcdi39nosis．ArchGenPsyclliar，1967，17：83～878栾建安，王纪宪，苏炳华等．多类别多评估者的kappa分析．中国卫生统计，1995，lz(6)：zo～229HaysRD，Ander∞nRT，ReVickiD．AssessingreliabiIityandva—lidityofmeasurementinclinicaltrials．In：StaquetMJ，HaysRD，FayersPM．Ed。Qua】ityofJifeassessmentinclinicaltrjakox—ford．oxfordUniversityPress，1998，169～18210BlackmanNJM，KovalJJ．IntervalestimationforCohen’skappaasameasureofagfeement．StatisticsinMedicine，2000，19：723～741(下转第232页)万方数据·232·有同感，一周来犹豫再三，今始命笔，对是否需要改名，答复为要改，理由是病人和家属都十分害怕精神分裂、神经分裂、分裂这种字样，并建议改名为意志障碍”。在《上海精神医学》1997年第9卷第4期的。精神分裂症的意志障碍”一文中，许教授对其理由做了详细地阐述。归纳起来是Schneider的一级症状都包含着意志障碍，而且意志障碍是所有这些症状最重要的特征。而若能排除器质性脑疾病的存在，一级症状可以成为精神分裂症的诊断依据。罗列若干症状并以其中几个症状的存在作为精神分裂症的诊断依据，IcD—lo(1992)与DSM一Ⅳ(1994)都是接此思路设计的。精神分裂症意志障碍表现为：1．病人本人之意志异化。2．对别人和／或本人意志的歪曲。3．意志的导向作用削弱。4．意志的动员作用削弱。5．意志的统一整合作用削弱。6．意志在单纯个体或生物学水平上作用的削弱。这些观点的阐述是非常精僻的，大大开拓了我们精神科医生的视野。无论是支持者还是反对者，都从不同的方面阐述了自己的观点，但大家的目的是一致的，即减少患者的痛苦，促进患者康复。有趣的是，反对改名的读者也提出了许多名称供选择，并在信中表示还是使之柔和一些，减少对患者的刺激为好，至少用英文名的音译，还可以简写作SCH。读者们来信推荐了86个名称，分类归纳如下：1．以人名命名：B1euler病(综合征)，Schneider病(症状群)，Kraepelin病(综合征)。2．以缩写命名：SCH，精分。3．斯奇佐夫瑞尼症。4．schneider一级症状名：幻觉症、妄想症、幻昕症、幻觉、妄想状态、思维异构症。5．Bleuler基本症状名：精神协调障碍、精神活动失调症、分裂综合征、精神松弛症、思维异构症。6．功能性障碍：知、情、志障碍，应激病、思想病、心友病、心灵受挫症、心理过程失调症、大脑功能紊乱综合征、脑功能障碍症、心理紊乱综合征、精神分裂活动、心理病、心理失调症。7．其他：意志障碍、意志性精神漳碍、精神自控缺失症、偏离综合征、超常综合征、稳态失调征等。综上所述，精神分裂症这一概念本身不明确而带给精神科医生的困扰，及社会对精神分裂症名称的偏见与误解是当前我们亟需解决的问题，从对这一疾病的认识到有关科学知识的普及都有大量工作等着我们去做，我们想就病名的更改问题更广泛地听取大家的意见，集思广益。使之碍到一个完满的 答案 八年级地理上册填图题岩土工程勘察试题省略号的作用及举例应急救援安全知识车间5s试题及答案 。参考文献lYoshiharuKimlImpaetofthetermschizophriniaonthecuItureofideography；theJapaneseExperience，1997(收稿：2000—08一12)(上接第230页)11Sh『outPE，Fki鹞jL．Int阳c18鼹cofrelatbnstu畿sina鹞eSsingraterreliabibty．PsychologicalBuUetin，1979，86(2)：420～428lZEbeIRL．Estimationofthe弛habilityofratings．Psych帆etrika，195l，16：407～424(AbstHct)13RosnerB．FundamentalsofBiostatistics．4thed．BeJmont；DuxburyPre黯，1995，518～519附}1．sAs命令猹序KAPPA及加权KAPPAPROCFREQ；WEIGHTCoUNT；TABLESA*B／AGREE；RUN；单因素方差分析PROcGLMlcLAssRATERsRATEEs；MOD—ELX之RATEES；RUN；两因索方差分析PROcGLM；CLAssRATERsRATEEs；MOD-ELX=RATERSRATEESlRUNl2．sP豁8．O或以上版本可以直接进行Kap呻、Icc的统计SPSS的STATISTlCS(ANALYZE)Kappa{DescriptiveStatistics—cROSSTAB—Statistics斗选中KappalCC：Scak÷ReliabilityAnalysis—Statistics一选中Intraclasscorrela—tioncoefficient—Model一选择One州ayRandom，Two-wayMixed，Two—wayRandom(最好应用SAS相互验证)sAs或sPsS还可继续编程或利用宏命令直接计算Kappa、lcc及其显著性检验和可信限计算，可参照有关书籍。sAs或sPSS宏命令(如％magree，％ICc)的程序限于篇幅省路，感兴趣者可与作者联系。EMAIL；Kchb@shl63b．sta．net．cn(收稿：2000—06—12)万方数据一致性检验方法的合理应用作者：李春波，何燕玲，张明园作者单位：李春波(200065,同济大学附属同济医院,上海第二医科大学精神医学教研室)，何燕玲,张明园(上海市精神卫生中心临床流行病学研究室,上海第二医科大学精神医学教研室)刊名：上海精神医学英文刊名：SHANGHAIARCHIVESOFPSYCHIATRY年，卷(期)：2000,12(4)被引用次数：21次参考文献(13条)1.BarktoJJ;CarpenterWTOnthemethodsandtheoryofreliability[外文期刊]1976(05)2.颜文伟检验一致性的统计方法1986(06)3.方积乾医学统计学与电脑实验19974.ArmstrongBK;WhiteE;SaracciRPrinciplesofexposuremeasurementinepidemiology19925.LandisJR;KochGGThemeasurementofobserveragreementforCategoricaldata[外文期刊]19776.HallJNInter-raterreliabilityofwardratingscales[外文期刊]19747.SpitzerRL;CohenJ;FleissJLQuantificationofagreementinpsychiatricdisgnosis19678.栾建安;王纪宪;苏炳华多类别多评估者的kappa分析1995(06)9.HaysRD;AndersonRT;RevickiDAssessingreliabilityandvalidityofmeasurementinclinicaltrials199810.BlackmanNJM;KovalJJIntervalestimationforCohen'skappaasameasureofagreement[外文期刊]200011.ShroutPE;FleissJLIntraclasscorrelations:usesinassessingraterreliability[外文期刊]1979(02)12.EbelRLEstimationofthereliabilityofratings[外文期刊]195113.RosnerBFundamentalsofBiostatistics1995引证文献(21条)1.范志奎.王胜林.崔志新.赵兴家.陈贺明采用Kappa统计量评价CT诊断腰椎间盘突出的常规阅片法及轮廓勾画法[期刊论文]-临床放射学杂志2010(4)2.夏邦世时间分辨荧光免疫技术检测HBV血清标志物临床应用评价[期刊论文]-临床医学2006(3)3.李大胜.张芳.高树明.顾金祥.李露.屈辉采用Kappa统计量评价腰椎间盘突出的MRI诊断[期刊论文]-中华放射学杂志2008(5)4.薛海波.肖世富.张明园老年成套神经心理测验的信度和效度研究[期刊论文]-内科理论与实践2007(2)5.周彬.张珏.王柯.朱岚.张艺.黄飚弓形虫IgG和IgM抗体双标记时间分辨荧光免疫分析的建立及其初步临床应用[期刊论文]-中华检验医学杂志2010(10)6.夏邦世.林奇隆唾液酸酶活性测定快速诊断细菌性阴道病[期刊论文]-实用医学杂志2005(19)7.夏邦世.沈忠海.朱金明HBeAg阴性慢性乙型肝炎前S1抗原检测的临床意义[期刊论文]-实用医学杂志2005(9)8.薛海波.肖世富.李春波.何燕玲.吴文源.张明园老年成套神经心理测验的制定和应用[期刊论文]-中华医学杂志2005(42)9.杨凡.万海英.单咏梅.周宏应用Kappa检验对乙型肝炎病毒血清标志物和丙型肝炎病毒抗体检测方法的评估[期刊论文]-中华实验和临床感染病杂志（电子版）2010(1)10.林丹丹.刘跃民.胡飞.陶波.王新明.左小星.李剑瑛.吴观陵日本血吸虫病常用诊断方法应用价值的评估IIHA筛查法对血吸虫病疫区人群感染率的评价[期刊论文]-中国血吸虫病防治杂志2008(3)11.曹伟芳.徐亮.陈长喜.张海涛裂隙灯前节OCT与房角镜检查前房角度数一致性分析[期刊论文]-眼科2007(3)12.程文红.王祖承.刘漪.范娟.李敏.李春波抑郁障碍青少年病前家庭功能的研究[期刊论文]-中华精神科杂志2007(4)13.程文红.刘漪.范娟.李春波.李敏.王祖承青少年抑郁障碍患者的早期创伤史研究[期刊论文]-中国心理卫生杂志2007(5)14.熊斌.TobiasBaumann.冯敢生.Arnd-OliverSchaefer.MathiasLanger滑动多层技术的二维快速小角度激发成像序列在直肠癌腹部转移诊断中的应用价值[期刊论文]-中华放射学杂志2008(12)15.尚瑶.郑卓肇.李选利用快速自旋回波序列测量骨骼肌肉系统的T2时间[期刊论文]-中华放射学杂志2007(12)16.向慧.张亚林.柳娜.陈辉心理治疗从业者胜任特征评价方法的可行性[期刊论文]-中国心理卫生杂志2009(3)17.刘思琦.沈刚.白丁.周洪.厉松.陈文静.王大为.李巍然.耿直.许天民中国正畸专家对错(牙合)畸形严重程度的主观判断一致性研究[期刊论文]-北京大学学报（医学版）2012(1)18.刘登堂.徐一峰思维、语言和交流评定量表(TLC)的信度和效度研究[期刊论文]-上海精神医学2008(4)19.刘尚昆.梅伟.张治国.吴震.刘光跃.YoannaSkrobik.田玉科重症监护谵妄筛查量表在麻醉苏醒期患者中使用的信效度分析[期刊论文]-护理学杂志2010(10)20.李宇单侧完全性唇腭裂患者术后侧貌照片主观评价及客观测量的研究[学位论文]硕士200521.李春波成功老龄相关因素的系列研究[学位论文]博士2001本文链接：http://d.g.wanfangdata.com.cn/Periodical_shjsyx200004016.aspx