方法比较和用病人标本偏差估计
批准指导方针-第二版
这份文件陈述了决定两种实验方法偏差的程序,用病人标本设计方法比较实验和数据统计分析。
NCCLS(国际临床实验室标准委员会)
通过自愿共识为世界医学科学组织服务
国际临床标准委员会是一个学科间非赢利的发展标准的国际教育机构。它提倡用自愿共识的标准和指导方针来促进医疗保健的发展。在病人检验及相关医疗问题共识过程中,其独有发展标准和准则得到了全球公认。它的宗旨就是通过有效和有价值的共识来提高病人检验和医疗保健服务。
出版
NCCLS文件以标准,指导方针或委员会报告的形式出版。
标准 共识过程中对物质,方法和操作的详尽要求和
规定
关于下班后关闭电源的规定党章中关于入党时间的规定公务员考核规定下载规定办法文件下载宁波关于闷顶的规定
发展为文件
另外还包括一些明确验证的选择性东西。
指导方针 共识过程中对总的操作程序,物质的描述标准形成文件,可能被使用者记录和修饰,满足特殊需要。
报告 不从属于共识及董事会决定使用
共识过程
NCCLS自愿共识过程是建立正式标准的草案:
方案
气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载
的授权
文件的发展和开放性回顾
通过使用者的评论来修正文件
以共识标准或指导方针的形式接受文件
大部分NCCLS文件含两个水平的共识:推荐和批准。随着的评价和数据收集的不同,文件也可以采用中间的(暂定的)共识水平。
推荐
一份NCCCLS文件要经历的第一步就是接受医疗保健组织以此做为标准或指导方针的评论。文件要广泛科学的回顾,包括全面回顾它的范围,近似值,实用程序和逐行检查学术和出版的内容。
暂定
暂定标准或指导方针的回顾和评论仅适用于当推荐方法在某一方面明确需要或推荐程序并要求收集详尽的数据时。要对它的实用程序进行回顾。
批准
批准的文件已经达到了医疗保健组织的共识,最终的文件要接受实用程序的回顾评定,确定形成了共识和证实附加共识文件的需要。
NCCLS标准和指导方针声称关于好的实验的共识观点和在竞争中感兴趣的东西得到了追随。使用者广泛认同NCCLS共识程序,它的供应需求或多或少比那些可适用的规则更迫切。因此,那些可适用规则的使用者有
责任
安全质量包保责任状安全管理目标责任状8安全事故责任追究制幼儿园安全责任状占有损害赔偿请求权
与这些共识结果保持一致。
评论
评论的使用者对共识程序是必要的,任何人应该服从NCCLS
通过共识程序形成文件的评论。
所有的评论包括那些下一次出版是否会引起共识水平改变的,都反应在文件的附录里。读者无论在任何时候以任何形式都应有勇气评论NCCLS文件。
义工参与
NCCLS项目中所有的医疗保健专科项目都鼓励义工参与。团体参与请联系NCCLS执行部门。
前言
现行的文献资料有许多使用者和生产商关于用不同的实验和统计程序评价同一分析物的两种测定方法。不同方法引起的争议以及有使用者曾报告这种比较缺乏大量的数据和重复性描述。
对生产商适用的诊断设备不一定也适用于其使用者,这一点已经越来越引起人们的注意了。生产商关注的是要建立一个证据确凿的和与公认的标准或推荐方法相比有一个可以接受的偏差。使用者更希望有与生产商所申明的偏差相比不同的候选方法。由于存在这两种不同的目的,实验和数据处理程序往往不同。
因此,在形成文件过程中,工作组吸取了使用者,企业代表,统计学家,实验人员和医学工作者的经验。基于现在所能提供的体外诊断方法和试剂盒,工作组意识到单一的实验室诊断不能满足所有的使用者和生产商的方法比较的需要。因此,这种指导方针为构建两种方法比较实验给予概念,举列阐述代表性实验的持续性,程序,物质,质量控制方法,统计数据处理和结果诠释。
通过草案的发展,工作组决定在举列实验中给出推荐的程序和统计方法。为了满足实验室和生产商的需要,工作组结合了实验室,生产商和代表性机构的实验方法,以及大量科学的比较。满足在简易操作程序,复杂的实验设计以及统计结果上进行折中确切结论的需要。这份文件能满足广泛的分析物和复杂设备的需要。
文件最值得关注的是偏差特异性的独立确定上。如果能够适用,使用者可以随意与生产商或自己内部标准进行比较。
工作组相信在方法比较中标准的实验和统计程序能使评估更具重复性和反应实际情况,评估的结果也更可靠。同时,错误的使用统计方法,如回归,相关等,包括比较体外诊断设备的不同会严重影响评估的有效性。因此,这份文件可以促进统计分析和数据报告的有效运用。
实验设备生产商应根据该指导方针去建立和标准化自身的偏差声明。这类声明已经有很多种形式了,但同时他们也没有足够的特异性允许去验证。
关键词
偏差,评估草案,实验设计,线性回归,方法比较,质量控制,残留物
质量体系步骤
在标准和指导方针的发展中,NCCLS签署了一个质量体系步骤,它促进了项目管理,定义了文件结构经历的中间过程,同时也提供了一个通过空白分析与文件需要一致的过程。这个步骤是基于绝大部分现行版本NCCLS HS1-质量体系模型。这个质量体系步骤提供了一个对任何机构和所有医疗服务工作过程基本的核心:质量体系要素。作为管理指导,质量体系要素为所有的产品和服务提供了一个框架。质量体系要素包括:
文件或记录 信息管理
组织 现行管理
职员 评估
设备 提升过程
购买或库存 满意服务
质控过程 便利安全
方法比较和病人标本偏差估计
批准方针-第二版
这份文件为使用者和实验室设备生产商提供了关于设计“两种方法测定同一分析物的1983330419偏差估计实验”的指导方针。实际上,测试方法或候选方法应该同参考方法进行比较。对使用者而言,比较的方法常常是现行的常规方法,然而,评价的目的是为了决定是否两种方法的结果与实验统计一致。实际上所关注的是测试方法是否适合取代现行的方法。
指导方针允许两种方法在不同的浓度进行偏差估计。如果比较的方法与生产商所声明的方法一致,实验统计的结果可与生厂商所声明的可接受范围相比较。
1.1比较实验的总回顾
分析方法评估有以下要求:
足够的时间让操作者熟悉仪器设备和程序
足够的时间让操作者熟悉评估方案
在整个评估过程中要确保测试方法和比较方法的质量控制
足够的数据来确保测试方法和比较方法有代表性结果。(足够的数据构成取决于两种方法的精密性和干扰影响,两种方法的偏差数量,可提供的标本分析测定值以及测试的医学要求)
在设备熟悉期,实验者必须熟悉两种方法的各个方面,包括:步骤,操作,仪器,排除故障,质量控制等。这个阶段应先于评估过程的其他部分或与生厂商培训过程一致。两种方法都应采用常规的实验室质量控制程序。
熟悉期后,可以开始实验了。工作组建议在5个工作日内至少要测试40个病人标本。按照生厂商的定标建议,在更多的时间分析更多的标本会增加实验的可靠性和价值。
测试方法和比较方法都要重复测定病人的标本,如果可能,至少50%的标本应在实验参考区间外。
当实验完成时,逻辑记录数据(附录里已经有范列)。绘数据图,并评估图在视觉上和统计上相对的线性关系,充足的范围,且均匀分散。基于数据检测结果,用简单线性回归或替代程序估计在任意的医学决定水平的平均偏差和可信区间。然后用这些评估可以同声明或可接受方法的内部判断标准进行比较。
1.2使用的符号
这份文件中使用的符号如下:
X 比较方法
Y 测试方法
DXi或DYi 测试方法和比较方法差异的绝对值
i 样本号
N 总的样本数
1,2或j 重复编号(下标)
DX或DY 不同方法的平均绝对差
DXi’或DYi’ 不同方法的相对绝对差
DX’或DY ‘ ̄ 归一(相对)平均绝对差
Eij 方法的绝对差
E 方法的平均绝对差
E’ij 方法的相对绝对差
TLE 检测限
r 相关系数
x 比较方法的测定值
y 测试方法的值
xij或yij 测试或比较方法的第i次重复的第j次值
x 或 y 测试或比较方法的均值
b 斜率
a y轴截距
Y ^ 测试方法的理论值
Sy.x 标准误
Bc^ 浓度C的理论偏差
XC 医学决定水平
Bc 医学决定水平的实际偏差
NK K组的数据号(K=1,2,3)
表示K组X和Y配对数据的和
K组的平均偏差
SDK K组的标准偏差
1.3 定义
分析检测范围AMR:方法的检测范围是指不通过稀释,浓缩,或其他预处理过程,能够直接在样本中测定的值的范围。
偏差:测试值和真值之差
临床可报告范围CCR:可报告范围指做为一个质控结果,允许样本稀释,浓缩或预处理达到可检测的范围。
相关系数:方差比,该产品的两个随机变量的标准偏差。注释:这份文件中,相关系数的定义为平方根斜率y在x的倒退,倍倒退对y
德明回归:从一个方法比较实验来估计斜率和拦截系数的方法,允许有一定的测试误差。方法的测试误差被用在评估程序中。
可测量:某一受测特定量。注释:这个名词的定义是指涵盖量,而常用的“样品”是指受测的有形实体。列如,"物质"的浓度是一个数量上可能与某一特定分析物相关。
Passing-Bablok:通过非参数程序的方法比较实验评估斜率和拦截系数的方法。
真实性: 通过大量的测试结果得到的均值和一个可接受的参考值的一致程度
注释:测试的真实性通常用术语‘偏差’来表示。
2。设备熟悉期.
测试方法和参考方法的操作者要熟悉以下东西;
操作
仪器程序
样品准备方法
定标和功能监测
当有生产商的培训时,可作为设备熟悉期的一部分,开始和准备测试时要有足够长的时间来确保操作者明白所有的程序和能够正确操作,对相当简单的设备,短时期就足够了,而复杂的仪器设备,则要求一个较长的时期。
操作者应该练习分析实际的标本来关注那些在常规操作可能的偶然因素(如:误差因素,错误的校正,定标等)这段时期的数据不可能收集,设备熟悉期直到操作者能满意地操作为止(这个程序不是对所有的评估者都必须的)。开始方法比较评估之前,确保用常规质量控制程序替代适当的控制线。
3.方法比较实验
3 .方法比较实验
3.1 测试样本
根据实验室操作和生产商的推荐来收集和处理病人样本。
3.1.1 储存
持久和储存条件取决于测试的稳定性.,如果可能,避免保存样本。
3.1.2 排除样本
如果样本被排除,记录原因。
3.2 比较方法
比较方法,可用实验室现行的方法,生产商声明的方法,或公认的参考方法。如果比较方法是参考方法,那么两种方法测试的差异在于新方法的真实性,测试用偏差。如果比较方法不是参考方法,不能决定新方法的真实性可靠,这种情况时,应该推荐一种简单的差异,而不是偏差,因为先前的目的是用参考方法作为比较方法,这份文件中用的是“偏差”。
实验给出的偏差评估是在两种方法和任意浓度之间的可信区。因此,两种方法的差异归因于测试中的错误,比较方法应该做到以下几点:
和测试方法相比有更好的精密性,如果有需要,可以通过重复测定来达到,
无论何时,都要远离那些已知的干扰。
同测试方法使用一样的单位。
无论何时,由已知的相对偏差(可追踪)标准或参考方法。
这个实验并未分隔各种来源于各自方法比较的偏差。(根据现行的NCCLS文件一EP14的评估矩阵影响,关于矩阵干扰的信息)。干扰效应可能和不精确影响两种方法的差异,通过独立的实验对每种方法的干扰效应进行恰当的描述,根据现行的NCCLS文件EP7——临床化学干扰试验。
3.3 测试范围
评估测试方法涵盖的有临床意义的范围。总的来说,这个范围扩大了预期的参考范围。分析物的浓度应尽可能的超过分析测量范围。分析物测试范围是生产商。申明的能够分析的浓度区间。表1a和1b说明了考虑一些可以异常的分析物。
3.3.1 分析测量范围.
范围的研究都限于两种方法的分析测量范围。比较方法的范围至少要跟测试方法的范围一样宽,那么就能够比较分析测量范围的偏差。
3.4. 样本号
与前面申明的标准一致,至少要分析40个样本,更多的样本能够提高统计评估的可靠性和增加排出干扰物质(主观意见)的机会。根据A1和A2为例记录数据。
3.4.1重复测量
有以下原因:每样品达到足够量。(1)测试方法重复分析。(2)比较方法重复测量。(3)如果要求,可有后续的要求。
3.4.2汇集样本
如果不能从单独的一个病人获得要求的足够量的样品时,可以通过混合两个(或更多)同一测试水平的和相同病史的病人的样品。用这种小量混合做重复分析。如果样品是全血,混合要求血清相容性。
注释:这种混合样品可通过均值或样品特异来掩饰偏差,以至两种方法有较好的一致性。
3.5样品顺序
在整个过程中首先选择能够整除的样品顺序。在第二次(重复)能反向整除。扭转第二整除顺序最小的影响,结转和漂移对平均数的重复建设与运行。使顺序中的样本随机化。列如,样本按下列顺序:1,2,3,4,5,6,7,8和8,7,6,5,4,3,2,1。在测试方法和比较方法中按相反的顺序,但每种方法可以使用不同的起始顺序。
3.6 持续时间
为一个指定的样品,通过比较方法和测试方法分析要在分析物稳定时间范围。对所有的分析物,每种方法的时间距离不应该超过二个小时。如果可能,绘制分析的样本图。如果是储存的样本,确定它们的储存方式确保它们的稳定性和两种方法要求的条件。用同样的方式储存样本避免介绍储存条件作为可变物。
如果精确度实验后执行方法实验比较(在现行的NCCLS-EP5文件中有描述:评价临床化学设备的精确表现)可以选择八个样本和在一天进行分析。如果方法比较实验和精密度评估实验同步,在程序熟悉期后要求一天4个样本分析10-15天。通过增加天数和更好的运行增加样本数据。
3.7数据收集的监测
3.7.1 分析系统错误
设备存在问题时期收集的数据,不能包括在最终的数据分析中。
3.7.2 人为失误
操作者记录的数据存在错误时,不能包括在最终的数据分析中。
3.7.3 评估其他差异的数据
检测记录的没有失误的配对数据点不被排除。如果没有检测到任何一个差异的原因,根据4.1和4.4部分检查并保留原始的数据结果。
3.8 质量控制
在实验中按照实验室或生产商的常规质量控制。保存质控图,重复任何方法的不在控的测试,直到达到样品数量的要求。
3.9 文件拒绝的数据
仔细阅读文件,并保留记录任何情况下需要排斥的数据,随着发现任何可以接受的原因和问题。
4.初步的数据检查
图1展示了在这份文件中描述的回顾性检查过程。图2展示了逻辑绘制的过程中的每一步。阅读这部分时要按照图来看。
设备熟悉
数据收集
重复试验的内部方法离群检查(X&Y)4.1
散点图(Y vs X)4.2 偏差vs浓度(Y-X)vsX
不行
视觉线性检查4.3
可能的话,缩短 剩下的范围是否足够
视觉离群的方法检查4.4 调查研究 调查研究
r2小于0.95
是
足够的检测范围 4.5 能扩大范围吗?
不
计算回归 5.1 使用分割偏差程序 6.2
不行
视觉均匀分散检查 5.2 使用分割残值程序 6.3
线性回归程序6.1
比较均值和最大偏差评估声明和内部标准
图1. 概况
流程
快递问题件怎么处理流程河南自建厂房流程下载关于规范招聘需求审批流程制作流程表下载邮件下载流程设计
图
A. 开始
获得数据 N=40
SHAPE \* MERGEFORMAT
是
替代 是否有问题样本
删除错误样本
B. 每种方法的离群重复测定 4.1 发现和纠正问题
范围重复测试是否可以? 线性测试是否可以? 不能接受大于1
解决问题程序
不是
是否最大重复误差大于医学允许误差
C. 绘制数据图(X.Y 4.2)
Y VS X 的散点图
停止,联系生产商
Y—X VS X偏差图
D.线性检查 4.3
用新的范围内的标本替代超出
的数据,N=40,重新实验
视觉线性 视觉决定线性范围 线性范围是否对临床有价值
检查每种方法的线性,解决问题
发现问题? 到开始
停止,联系生产商
继续下页
图2. 详细流程图
接上页
E离群检查 4.4
视觉离群检查是否可以? 成对偏差的绝对测试范围? 成对偏差的相对测试范围?
仅一个样本?
删除样本
F.检查X的足够范围4.5 停止,调查研究和联系生产商
r 2大于或等于0.95 能否扩大范围?
增加扩大范围的数据,重开始(用所有的数据)
G.计算线性回归5.1
计算斜率(B)和截距
H.检查常数散点 5.2
视觉均匀散点?
用分割残值程序 6.3 用分割偏差程序6.2
计算SXY理论偏差和可信区间6.1
比较评估均值偏差和标准的偏差可信区间 7
图2 (继续)
4.1 重复方法离群检验
分析应该处理所有的数据和任何离群点;测试方法和比较方法按以下步骤重复。分析有两种方法:1)所有的点 , 2)任何离群点。按以下的方法计算每个样本的绝对差异
DXi=∣Xi1-Xi2∣ (1)
DYi=∣Yi1-Yi2∣ (2)
在这里i=样号(1到N), N=总的样本数
计算每种方法重复地差异均值:
DX =∑DXi/N (3)
DY =∑DYi/N (4)
计算“可接受性”限:每种方法差异均值的4倍(四舍五入至下一个可报告的高值)
如果任何每个绝对差异超过可接受(X或Y)值,根据附加计算每种方法的相对差异!
DXi‘=∣Xi1-Xi2∣/Xi (5)
DYi‘=∣Yi1-Yi2∣/Yi (6)
DX ‘ =∑DXi’/N (7)
DY‘ =∑DYi’/N (8)
相对差异的4倍值提供了检测限的正常值。
如果一个数据在范围和相对范围之外,调查研究为什么会这样,删除这个样本然后继续分析数据。
如果删除的样本大于1;
计划
项目进度计划表范例计划下载计划下载计划下载课程教学计划下载
一个扩大范围的调查研究。如果能找出问题的原因和问题样本,替代这些样本数据。要记录问题的原因,如果能纠正但不能找出错误样品,整个数据都要重新收集。如果没有发现或纠正问题,评估精密度试验中几许的重复医学决定水平,得最大差异。如果能超过检测限,停止试验,和联系生产商。(3.9.数据排除)。
4.2 绘制数据图
绘制四份数据图。首先是散点图的y (重复均值)对X(重复均值) ,测试方法 y为一个变量与比较法X作为一个变量。使起始和规模均轴相同,并以此为限,与斜率1.0过起点。用同样的方法画第二份图:每个Yij对应他们的均值Xi(图B2)
第三份偏差图取决于作为可变量X轴的比较方法是否是参考方法。如果是参考方法,第三份图是Y值和X值之差(Yi- Xi)对应每个Xi值的图(图B3)。水平中线的值为零。第四份图,绘制每个Y值与X均值(YIJ- Xi)对应每个Xi值的图。
如果比较方法不是参考方法或不确定,第三份偏差图为Y与X均值差(Yi- Xi)对应 (Yi+ Xi)/2(图B3)。水平中线的值为零。第四份图,同上(Yi+ Xi)/2对应(Yi+ Xi)/2。
同时用四份图很有帮助,因为:四份图的差异可以平衡非线性,离群,和测试方法和比较方法间非常数方差的影响。
4.3目测的线性关系
在整个检测范围中检查比较方法和测试方法的线性关系。如果是很满意的线性,根据4.4部分检查数据(请根据NCCLS现行的文件EP6-质量分析方法的线性评估,附加信息)。
如果有非线性的证据,目测是否数据有线性部分。通常,非线性产生于极端的浓度值。如果有这种情况,从非线性开始的地方切去那些数据点。检查剩下的线性部分是否有足够宽的范围涵盖有临床价值范围。如果这样,分析附加的样本替代那些剔除的样本。在4部分开始检查那些新的数据。
如果没有明显的线性部分或线性部分太小,停止评估和联系生产商。如果非线性的原因可以证实和纠正,用新的数据开始评估。
4.4 目测两种方法的离群
检查数据图A和C的目测离群。如果没有离群点,继续4.5部分。如果存在离群点,按下面的公式同4.1部分相似的计算
计算方法和均值的绝对差异,
Eij=∣yij-xi∣ (9)
I= 样本号(1…….40) j=重复号1或2
E=
EMBED Equation.3 Eij /2N (10)
计算检测限(TLE)作4?E,四舍五入至下一个可报告的高值。比较Eij和检测限,标记出超出的点。
计算方法和均值的相对差异,
E‘ij=∣yij-xi∣/ xi (11)
E‘=
EMBED Equation.3 E‘ij /2N
(12)
计算相对检测限作为4XE‘,比较每个Eij和检测限(不四舍五入),标记超出的点。
任何测试方法的超出的点都是离群,最大值2.5%的数据也要从数据集中删除。
如果超出2.5%的数据被证实是离群点。调查可能的干扰,人为因素和设备失控。如果一些分析物同时在设备上评估分析,检查其他分析物异常样本的结果。同时,回顾整个操作中的质量控制。如果没有发现明显的原因,差异导致值超出了医学意义范围,停止评估或增加新的40个样本。
4.5 比较方法的足够测试范围
仅仅当数据假定是真实的,回归分析的结果才是有效的。一种假定是X变量已知没有错误。在临床实验室,这是不可能的,因为每种测试都有不能避免的误差。然而,如果数据范围足够的宽,这种误差对回归评估的影响是可以忽略的。相关系数可作为一个概略知道,在X足够范围上克服这个问题。公式如下:
r=
(
j-
)(
j-
)/
(
j-
)2
(
j-y)2 (13)
这里
=
EMBED Equation.3 xij/2N (14)
=
EMBED Equation.3 yij/2N
(15)
作为总的指导,如果r2 ≥0.975,可认为X范围足够(接近,r2 ≥0.95)。如果数据的 r满足要求,X的误差能弥补这个范围的数据,简单的线性回归可以用来评估斜率和截距。
如果r2 ≤0.95,数据的范围必须通过增加样本来扩大。然后,开始检查整个系列的数据。如果不能扩大数据范围,用6.2部分描述的配对偏差替代线性回归评估平均偏差。
注释:对数据范围的评估程序,不能检测数据的散布。必须获得数据在范围中的均匀分布。
5.线性回归
5.1 计算
配对(Xij-Yij)观察斜率b和y-截距a,可以通过下面的公式计算:
b=
EMBED Equation.3 (yij-
)2〔
(
j-
)〕/ (
(
j-
)2) (16)
X值和配对的X均值=Xi
单个的Ys对应X均值
b=
(
j-
)(
j-
)/
(Xi-X)2 (17)
a=y -bx (18)
这里
y=
EMBED Equation.3 yij/2N (19)
和
x=
EMBED Equation.3 xij/2N
(20)
因此,计算线性可用下面的公式:
EMBED Equation.3
EMBED Equation.3 = bx+ a (21)
任何已知浓度值(X),可通过这个公式计算出测试方法的理论值(Y),保存结果用于后面的回归。选择回归程序,比如德明(正交作为一种特殊情况λ=1)或者Passing-Bablok,仅可以用来估计斜率和截距。选择好合适的程序后,按下面的步骤继续。不能只用正交回归或德明计算估计标准误,因为这样值会人为的降低除非是根据垂直计算标准误,不是正交距离。
5.2 目测恒定分散
检查分散和数据偏差(表B1到B4)为了恒定分散。尽管一些方法有恒定的不精密度(来源于恒定分散)贯穿于测试方法的分析测试范围,目测在范围的高值和低值的标准误是否有戏剧性的改变或明显的不同。如果数据超出了恒定分散,用6.1部分描述的线性回归计算平均偏差。在这种情况,通常最小平方回归仍可以用来评估线性相关的X和Y的斜率和截距。即使分散不是恒定的,斜率和截距的估计没有偏差(在统计上)。然而,在这种情况下,标准误的计算对线性回归测试变量是不可用的。用6.3部分描述的关于变量估计的分割残值程序和偏差评论。
当仅40个(80个配对测试点)样本,选择适当的恒定分散是很困难的。因此,工作组认为没有恒定分散时收集更多的样本是毋庸质疑的。
非此即彼,标准统计程序存在于没有恒定分散关回归纠正中。这些技术包括用变换的数据(如对数衡量回归)。
6. 计算理论偏差和可信区间
6.1 线性回归程序(当数据通过充分的范围和一致的分散检查)
在Y测量方向上,给定数据点和线性回归的差异,叫做该点的残值。标准误的估计(Syx)是那些残值的标准偏差,因而点的分散测量是点在回归线附近。点的残值(Xj,yij)可通过下面的公式计算:
残值ij= yij -
ij=yij-(a +bxj ) (22)
关于均值(Xj,yij):
残值j=yj-
j= yj-(a + b xj) (23)
根据单个的yij按下面的公式计算标准误:
Sy.x =
(24)
关于平均yj:
Sy.x.=
(25)
在给定的医学决定水平Xc,通过给定的公式计算理论偏差(Bc)
B^c=a+(b-1) Xc (26)
医学决定水平Xc的实际偏差,通过公式计算95%的可信区间:
[
c,low,
c,high]=
c+2Sy.x
(27)
用部分7的统计解释
6.2 当数据未通过充分范围的数据检查时,用分割个体差值计算平均偏差(分割偏差程序)
为了增加X值列表显示数据,然后把数据分成三组(低,中和高),每组数据包含几乎一样的数据数目。基于这组数据的X值配对。执行这个过程通过肢解2N/3点的偏差图来确定三组数据的界限。(分配在界限的数据使三组包含接近的数据个数)。在记录菜单上标记数据点属于哪一个数据组。然后,用下面的公式单独计算每一组数据的平均偏差:
Nk=在K组的数据号(K=1,2,3)
(m是一个假定的描述在K组配对的X和Y的求和计算)
Bk=
(ym-xm)/ Nk (28)
SDK=
(29)
顺序计算每一组中每以点的偏差和这些偏差的标准偏差。Bk值是估计适当浓度范围的理论(平均)偏差,三组的Bk,s替代了6.1部分的Bc。如果,三组的Bk,s是接近一致的,然后报告均值,以B形式。
临床组织选择医学决定水平和不取决于数据进入范围的方式。如果结果是重要的医学决定水平接近两部分的界限,有用的是移开这部分,避免偏差估计的中断。
关于理论偏差Bc在医学决定水平的浓度Xc的95%可信区间,是通过选择合适的K和下面的公式计算的:
[
c,low,
c,high]= Bk+2(SDk)/
(30)
6.3 当数据有不稳定(变化的)精密度时用分割残值计算理论偏差(分割残值程序)
同6.2部分一样,把数据分成三组,每组中有几乎相等的数据个数。然后,按下面的公式单独计算,在这里Nk=在K组的数据号(K=1,2,3)
(m是一个假定的描述在K组配对的X和Y的求和计算)
SDK=
EMBED Equation.3 (31)
医学决定水平浓度Xc的理论偏差(Bc)计算是:
c=a+(b-1) Xc
(32)
理论偏差Bc在医学决定水平的浓度Xc的95%可信区间,是通过选择合适的K和下面的公式计算的:
[
c,low,
c,high]=
c+2(SDk)/
(33)
7.结果解释和与内部表现标准比较
大部分例子,现行方法和侯选替代方法之间的差异是有利的。在这种情况,在医学决定水平点Xc比较可信区间理论偏差和可接受的限定误差。每个实验室应建立自己的标准(咨询它的医疗人员和技术)。如果可信区间的理论偏差包括限定的可接受误差,数据没有表现侯选方法的偏差不同于可接受偏差。然而,如果可信区间的偏差没有包括限定的可接受误差,然后,下面的情况可作出决定:
如果可接受偏差小于可信区间理论偏差的低线,可作出下面的结论:
理论偏差大于可接受偏差有很大的可能性(>97.5%),因此,侯选方法不能等同于现行的方法,不可以接受被定义的运用。
如果可接受偏差小于可信区间理论偏差的低线,可作出下面的结论:
理论偏差小于可接受偏差有很大的可能性(>97.5%),因此,侯选方法能等同于现行的方法,可以接受被定义的运用。
如果有明显的不相同,要确信侯选的替代方法有效,而不是拒绝新方法,在投入常规使用前获得新的临床数据(如新的参考范围)。记住:实验室标准的发展应界定允许方法的差异。当比较两中方法的可允许误差,单独的临床可接受的精密度误差标准是不能提供的。错误极限的指导能够在内部个体生物变异测试的研究中发现。
8.制造商修改
8.1 实验设计
制造商至少要有100列病人标本,扩展整个方法或设备声明的分析测试范围。制造商可以选择超过100的样本,特别的多站点收集样本,或其他因素要求研究。
病人的样本可以用来对更多的分析评估。
8.2 数据分析
按文件中描述的程序初步检查收集的数据。制造商可以选择任何严谨的统计程序分析数据,但最后的点必须是测试方法和比较方法之间在有意义的医学浓度点的偏差估计。对参数误差的估计,制造商应该计算回归斜率和截距的标准误,和偏差声明中的该点的理论标准误。如果标准误太大不能接受,则要求增加数据。避免无效的程序,如:在垂直方向上的标准误估计。
8.3 偏差表现声明
下面的项目应该包括在制造商关于方法比较偏差的声明。除非比较方法是确定的参考方法,不能使用术语“准确性”和“真实性”。下面列出的项目,制造商应谨慎;
满足线性回归直线的斜率和截距(通过任何方法)
回归中的总的数据数目
在声明的医学决定点计通过线性回归计算偏差(在总的可接受的决定点或参考区间的极端)
数据范围(回归中X高值和低值包括的)
在回归中用的比较方法
是否在回归或重复决定值中个别观察,如果这样,每个值有多少重复。这些值不能标记X和Y。
在垂直方向(Y)上的数据标准误评估,如果与整个临床分析测试范围一致或在更多浓度范围的标准误差,总的评估不相称。
斜率和截距的可信区间
相关系数
观察数据的散点图,X和Y轴用相同的尺度和范围,用所有的数据,包括那些证实了的用不同记号的离群点。散点图应该包括适当的回归直线和线性一致(X=Y)
用来适应线性回归直线的方法(普通最小平方,衡量回归,德明,正交回归)和散点图的最适合线
测试方法的天数和循环定标的数据
表1a.推荐的方法比较实验的数据分布(最大浓度)
A组
B组
C组
D组
E组
测试
范围
%
范围
%
范围
%
范围
%
范围
%
葡萄糖(mg/dl)
<50
10
51-110
40
111-150
30
151-250
10
251-SL
10
尿素(mg/dl)
<15
10
15-25
40
26-50
20
51-100
20
100-SL
10
钠(mmol/l)
120-130
10
131-140
40
141-150
30
151-160
10
钾(mmol/l)
<3.0
20
3-4.5
35
4.5-6.0
35
>6
10
氯(mmol/l)
80-95
30
95-105
40
105->120
30
二氧化碳(mmol/l)
<15
10
15-20
30
20-30
40
30-40
10
>40-SL
10
尿酸(mg/dl)
<3.0
20
3-5
20
5-8
20
8-10
20
>10-SL
20
钙(mg/dl)
<8.0
10
8-9
20
9-11
40
11-13
20
>13-SL
10
无机磷酸盐(mg/dl)
<2.5
10
2.5-4.5
60
4.5-6.5
20
>6.5
10
碱性磷酸盐(u/dl)
9
10
白蛋白(g/l)
<3
10
3-4
40
4-5
40
>5
10
总胆红素(mg/dl)
<75
30
1-2
30
2-5
20
5-10
10
10-SL
10
总胆固醇(mg/dl)
120-180
20
181-220
30
221-260
30
261-400
20
甘油三酯(mg/dl)
NL/2
10
75-125
30
125-200
30
200-300
20
300-SL
10
谷草转氨酶(u/l)
NL/2
20
NL-2NL
30
NL-2NL
30
2NL-4NL
10
4NL-SL
10
r-氨基丁酸(u/l)
NL/2
0-NL
40
NL-2NL
40
2NL-4NL
10
4NL-SL
10
谷丙转氨酶(u/l)
NL/2
20
NL-2NL
20
NL-2NL
40
2NL-4NL
10
4NL-SL
10
乳酸脱氢酶(u/l)
NL/2
15
NL-2NL
25
NL-2NL
30
2NL-4NL
20
5NL-SL
10
肌酸激酶(u/l)
NL/2
15
NL-2NL
25
NL-2NL
30
2NL-4NL
20
5NL-SL
10
肌酐(mg/dl)
0-1.0
20
1.1-2.5
30
2.5-5.0
20
5-10
20
10-SL
10
铁(ug/dl)
<50
20
50-150
50
15.0-30.0
20
300-SL
10
淀粉酶(u/l)
0-NL
40
NL-2NL
40
2NL-4NL
10
4NL-SL
10
血红蛋白(g/dl)
<9.0
15
9.1-12.0
25
12.1-17.0
50
17.1-SL
10
红细胞x1012/l
<3.0
10
3.1-4.0
30
4.1-6.0
50
6.1-SL
10
白细胞x109/l
<2.0
10
2.1-5.0
20
5.1-11.0
40
11.1-25.0
20
25.1-SL
10
血小板x109/l
<50.0
10
51-150.0
20
151-300.0
30
301.0-450
30
451.0-SL
10
SL:标度极限
NL:实验室正常范围的上限
表1b.推荐的方法比较实验的数据分布(物质浓度)
A组
B组
C组
D组
E组
测试
范围
%
范围
%
范围
%
范围
%
范围
%
葡萄糖(mg/dl)
<2.76
10
2.81-6.06
40
6.12-8.27
30
8.32-13.78
10
13.83-SL
10
尿素(mg/dl)
<2.5
10
2.5-4.16
40
4.33-8.33
20
8.50-16.65
20
16.65-SL
10
钠(mmol/l)
120-130
10
131-140
40
141-150
30
151-160
10
钾(mmol/l)
<3.0
20
3-4.5
35
4.5-6.0
35
>6
10
氯(mmol/l)
80-95
30
95-105
40
105->120
30
二氧化碳(mmol/l)
<15
10
15-20
30
20-30
40
30-40
10
>40-SL
10
尿酸(mg/dl)
<178
20
178-297
20
297-476
20
476-595
20
>595-SL
20
钙(mg/dl)
<2.0
10
2.0-2.25
20
2.25-2.75
40
2.75-3.24
20
>3.24-SL
10
无机磷酸盐(mg/dl)
<0.8
10
0.8-1.5
60
1.5-2.1
20
>2.1
10
碱性磷酸盐(u/dl)
90
10
白蛋白(g/l)
<435
10
435-580
40
580-725
40
>725
10
总胆红素(mg/dl)
0-17.1
30
17.1-34.2
30
34.2-85.5
20
85.5-171
10
171-SL
10
总胆固醇(mg/dl)
<3.9
10
3.9-6.5
40
6.5-9.1
30
>9.1
20
甘油三酯(mg/dl)
<0.086
10
0.086-0.14
30
0.14-0.23
30
0.23-0.34
20
0.34-SL
10
谷草转氨酶(u/l)
NL/2
20
NL-2NL
30
NL-2NL
30
2NL-4NL
10
4NL-SL
10
r-氨基丁酸(u/l)
0-NL
40
NL-2NL
40
2NL-4NL
10
4NL-SL
10
谷丙转氨酶(u/l)
NL/2
20
NL-2NL
20
NL-2NL
40
2NL-4NL
10
4NL-SL
10
乳酸脱氢酶(u/l)
NL/2
15
NL-2NL
25
NL-2NL
30
2NL-4NL
20
5NL-SL
10
肌酸激酶(u/l)
NL/2
15
NL-2NL
25
NL-2NL
30
2NL-4NL
20
5NL-SL
10
肌酐(mg/dl)
0-88.4
20
97.2-221
30
221-442
20
442-884
20
884-SL
10
铁(ug/dl)
<8.95
20
8.95-26.9
50
26.9-53.7
20
53.7-SL
10
淀粉酶(u/l)
0-NL
40
NL-2NL
40
2NL-4NL
10
4NL-SL
10
血红蛋白(g/dl)
<5.58
15
5.65-7.45
25
7.5-10.55
50
10.61-SL
10
红细胞x1012/l
<3.0
10
3.1-4.0
30
4.1-6.0
50
6.1-SL
10
白细胞x109/l
<2.0
10
2.1-5.0
20
5.1-11.0
40
11.1-25.0
20
25.1-SL
10
血小板x109/l
<50.0
10
51-150.0
20
151-300.0
30
301.0-450
30
451.0-SL
10
基于相对最大分子量=875
注释:酶活力的计量单位是katal,这里,没有统一接受的单位。1U=16.67katal
SL:标度极限
NL:实验室正常范围的上限
参考文献:
1. Linnet K.关于方法比较实验研究的回归程序评估.临床生物化学1993;39:424-432
2. Mandel.J实验数据统计分析.Dover,纽约;1964:282-292
3. Passing H,Bablok.一种新的生物统计程序关于用两种分析方法测试的等同性. 临床生物化学.1983;21:709-720
4. Beyer WH,Ed.CRC可能性和统计表以及模式标准.Boca Raton,Florida:CRC press.1999:表Ⅷ.2:270
5. Bland JM,Altman DG关于增加两种方法临床测试一致性的统计方法,Lancet.1986:307-310
6. Altman DG, Bland JM 医学测试:方法比较研究的分析。统计学。1983;32;307-317
附录A.样品数据记录菜单
A1.示列:空白工作单
单—— ——
日期:
分析物
测试方法:
比较方法
测试方法
比较方法
测试方法(Y)比较方法(X)
样本号
结果1
结果2
结果1
结果2
均值
均值
附录A(继续)
A2.示列:样本数据记录菜单
单# 1 的 2
日期:1/29/93
分析:结果示列
测试方法:kpling
比较方法:XYZ
测试方法
比较方法
测试方法(Y)
测1-测2绝对值
比较方法(X)
测1-测2绝对值
样本#
结果1
结果2
结果1
结果2
均值
均值
1
87
82
86
80
5
6
2
165
158
155
158
7
3
3
197
208
202
194
11
8
4
43
45
47
50
2
3
5
68
70
72
72
2
0
6
184
180
176
177
4
1
7
227
220
218
222
7
4
8
140
140
136
138
0
2
9
168
173
175
170
5
5
10
87
86
79
78
1
1
11
144
152
147
150
8
3
12
264
248
250
245
16
5
13
45
49
45
44
4
1
14
92
87
98
96
5
2
15
74
73
69
73
1
4
16
63
60
53
57
3
4
17
147
154
149
155
7
6
18
204
209
200
211
5
11
19
106
97
110
108
9
2
20
125
120
123
120
5
3
21
132
124
136
132
8
4
22
101
104
98
102
3
4
23
211
204
199
206
7
7
24
67
68
72
70
1
2
25
184
176
192
193
8
1
26
97
92
95
98
5
3
27
143
145
132
130
2
2
28
106
117
113
122
11
9
29
84
80
86
90
4
4
30
201
199
207
205
2
2
31
154
153
147
141
1
6
32
76
79
75
70
3
5
33
55
53
62
59
2
3
34
181
174
179
184
7
5
35
243
256
261
254
13
7
36
127
124
128
126
3
2
37
84
87
85
82
3
3
38
62
62
68
66
0
2
39
137
135
138
143
2
5
40
104
111
106
107
7
1
附录C.计算列子
C1。方法重复检查(4.1部分)
x11=86 x12=80
y11=87 y12=82
Dx1=︱x11- x12︳=︱86-80︱=6
.=( x11+ x12)/2=83
Dy1=︱y11- y12︳=︱87-82︱=5
.=( y11+ y12)/2=84.5
Dxi’ =︱x11- x12︳/
.=6/83=0.0723
Dyi’ =︱y11- y12︳/
.=5/84.5=0.0592
相似地,
i xi1 xi2 yi1 yi2 DXi DYi Dxi’ Dyi’
2 155 158 165 158 3 7 0.0192 0.0433
3 202 194 197 208 8 11 0.0404 0.0543
4 47 50 43 45 3 2 0.0619 0.0455
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
38 68 66 62 62 2 0 0.0299 0
39 138 143 137 135 5 2 0.0356 0.0417
40 106 107 104 111 1 7 0.0094 0.0651
=3.775 控制限=4.
=15.1 四舍五入=16
=4.975 控制限=4.
=19.9 四舍五入=20
’ =0.0320 控制限=4.
’ =0.1280
’ =0.0392 控制限=4.
’ =0.1576
重复值未超过控制限
附录C.(继续)
C2.离群检测(4.4部分)
x11=86 x12=80
y11=87 y12=82
E11=︱y11-x11︱=︱87-86︱=1
E12=︱y12-x12︱=︱82-82︱=2
E1’1=︱y11-x11︱/ x11 =1/86 =0.0116
E1’2=︱y12-x12︱/ x12 =2/80 =0.0250
相似地,
#/i Ei1 Ei2 Ei’1 Ei’2
2 10 0 0.0645 0
3 5 14 0.0248 0.0722
4 4 5 0.0851 0.100
. . . . .
. . . . .
. . . . .
38 6 4 0.0882 0.0606
39 1 8 0.0072 0.0559
40 2 4 0.0189 0.0374
E=1/80﹒
EMBED Equation.3 Eij=1/80﹒428=5.35
E’=1/80﹒
EMBED Equation.3 E’ij=1/80﹒3.8639=0.0473
关于E控制限=4. E=21.4 四舍五入=22
关于E’控制限=4. E’=0.1892
没有重复值超出控制限
附录C.(继续)
C3.测试相关足够范围(4.5部分)
r = ∑ ∑(xij-x)(yij-y)/
.
x=129.34
y= 129.16
i j xij-x yij-y (xij-
)2 (yij-
)2 (xij-
)(yij-
)
1 1 -43.34 -42.16 1878.36 1777.47 1827.21
1 2 -49.34 -47.16 2434.44 2224.07 2326.87
2 1 +25.66 +35.84 685.44 1284.51 919.65
2 2 +28.66 +28.84 821.40 831.75 826.65
. . . . . . .
. . . . . . .
. . . . . . .
39 1 +8.66 +7.84 75.00 61.47 67.89
39 2 +13.66 +5.84 186.60 34.11 79.77
40 1 -23.34 -25.16 544.76 633.03 587.23
40 2 -22.34 -18.16 499.08 329.79 405.69
∑ ∑(xj-
)2=254531.90 ∑ ∑(yij-
)2=259160.86
∑ ∑(xij-
)(yij-
)=255032.61
r = 255032.61/
.
= 0.993 (数据通过足够范围检测)
附录C.(继续)
C4.回归参数评估(5.1部分)
斜率(b)用前页计算
b=
EMBED Equation.3 (xij-
)(yij-
)/
EMBED Equation.3 (xj-
)2=255032.61/254531.895=1.001967=1.002
截距(a)
a = y –b .
=129.1625 -1.001967.129.3375
=129.1625-129.5919
=-0.429
=-0.4
附录C.(继续)
C5.残值和标准误评估Sy.x(6.1部分)
预期值:
ij=a + b. xij =-0.429+1.002. xij
残值ij = yij- y^ij
I j yij y^ij 残值 ( yij-ij)2
1 1 87 85.74 +1.26 1.588
1 2 82 79.728 +2.272 5.162
2 1 165 154.875 +10125 102.506
2 2 158 157.881 +0.119 0.014
. . . . . .
. . . . . .
39 1 137 137.842 -0.842 0.709
39 2 135 142.852 -7.852 61.652
40 1 104 105.779 -1.779 3.165
40 2 111 106.781 +4.219 17.799
残值平方求和 =
EMBED Equation.3 (yij - y^ij)2=3626.565
标准误评估(Sy.x)=
=6.818=6.8
如果在Bc的95%可信区间=150,那么Bc=-0.429+1.002?150=149.87=149.9
95%可信区间低点 =149.87-2.6.826.
=149.87-13.64.
= 149.87-13.64?(0.11907)
=148.246
=148.2
95%可信区间高点 =149.87+1.624
=151.49
=151.5
附录D.计算德明斜率
下面的公式可以用来计算德明斜率和截距
用y计算通常的最小平方按独立和依赖x变化的=bxy
定义 f=1/bxy – λ/bxy
在这里λ=变量误(不精密度)的比列,y变量误在x变量误。这不精密度可一通过汇合样本重复结果的变换来计算
德明斜率bd=0.5Х(f+
)
德明截距=
–(bd-
)
NCCLS共识过程包括一个上诉过程:在9部分中详细描述的行政程序,为了进一步的信息,联系执行部门或参观我们的网站。
评论概要和工作组的回应
EP9-A:用病人标本的方法比较实验和偏差评估;通过的指南
总的
1. 总的来说,这个标准是一个好的尝试去提供一个关于用病人标本的方法比较和偏差估计的模式。然而,工作组希望回顾统计血液学专家的意见。供选择的方法,比如:两项式,已经被证实比那些更标准的方法(线性回归)更有用。
. 评论71的回应
2. 总的方法学“回归”贯穿于整个文件中,我们熟知的那些方法常常并不适合白细胞分析的很多测试。因此,如果有下列情况,或许有帮助:
a) 文件明确的界定了参数的适合标准范围
b) 对上面范围的参数,获得一些最低限初步数据或参考引用支持建议方法优先于外部观点
.工作组已经给出了适用的回归方法指南。这比菜单式的分析物合适的回归分析更有用
3. 我发现顾客和实验室评估者没有数据列子要按照文件是很困难的。
.在附录里有数据列子
4. 请包括一个流程图:显示整个“偏差评估”适合的整个设备评估(先做什么,最后,中间)
.建议超出文件的范围,但总的指南在1部分已经给出了
5. 文件的参考书目文章应该作为文件本身部分
.工作组同意这个评论,参考文献已经插入在适当的位置了
1.1部分
6.为和其它文件一致,术语“sample”应该用“specimen”替代。术语“sample”注释一个整除的一个“specimen”。
.工作组不同意,保持NCCLS实行一致,术语“specimen”已经取代了“sample”。
7.EP9建议最小的40个样本,H20建议总的200个样本:100个正常样本和100个异常样本。为了NCCLS组织的相容性,那些不同的建议应该修改。从我们的经验,120个病人样本足以包括预期的范围。
.文件的相容性评论是确凿的,将通过并在血液学委员会使用。然而,任何评估的一个重要项目是:要求的最小样本量是多少?这个问题通常的答案取决于许多其他的参数,如特殊参数的估定,希望的可信水平,价值,最重要的可能是怎样加样有代表性。最小的40个样本量是委员会的一致观点。
8.总的,“n”的要求取决于测试的目的。在这种情况,目的可能决定“精密度”“准确度”“敏感度”,在一些可信的统计水平。这些目的能决定测试要求的“n”。可能甚至是全球的 可能引出建立一个“临床意义水平”要求“精密度”“准确度”,要求表明在一些意义水平的样本“n”。
。工作组同意,见评论7
9.在后面的草稿文件中提到一些推荐的统计分析40个样本不适当。n=40可能证明不适合制造商的确认和研究过程。n=40可能适合一些顾客取决于推荐的统计分析和样本推广。
. 工作组同意,见评论7
10.回归分析的直接建议可能不适合,如果未充分扩大数据。因为这段话除了这句都可读,希望工作组能考虑删除。另外,工作组可引用4.5部分回归使用的饿限制。
.工作组同意。句子“分析数据检测离群,和适合线性回归的数据”已删除。
1.2部分
11.关于Dxi和 Dyi的定义应该为方法X或Y重复测定的绝对差。
.定义已经改为:方法X或Y重复测定前后的绝对差值
2部分
12.我不同意下面的句子:对使用者这个程序不是必需的。设备熟悉期对正确使用设备操作和读懂结果是必需的。
.工作组同意。句子已经改为:并非对所有的评估使用者都必需。
13样品的收集和处理方式必须和制造商的建议一致。
.工作组同意。句子“根据实验室操作意见收集和处理样本”已经改为:根据实验室的操作意见和制造商的建议收集和处理样本。
3.12部分
14.预先设定的病人样本有缩短实验设计的趋势。
.3.2部分已经重写增加评论者关注的观点
15.工作组可能希望根据建议:[1]标本年龄(抽血后的时间),[2]样本情况(溶血)和[3]病人确认(编制盲底确认无名)。如果检测到离群,记录信息将提供关于确认干扰物质的数据库)包括疾病和治疗状况。一旦已经记录了干扰原因,在最终的数据分析前要从数据库中排除这些样品结果。
.工作组同意。3.12部分已经重新修改,“如果样品排除了,记录排除的原因”
16.我想纠正已知干扰物质样本为“金标准”。比较者不应该使用因为“金标准”误差可能忽略一些有意义的结论。应该理解,样品可能是测试状况下干扰结果,除了可接受的金标准比较,取决于想要的测试目的。
.工作组不同意这个评论。在实际的分析浓度可能存在明显的偏差或与真实差异不一致,除了质量比较方法。另外重要的偏差报告,用一个常常确认的推荐方法报告测试结果和帮助制定医学决定。
17.NCCLS和其他意识已经详细提供了关于干扰物质评估程序。通过一段时间的偏差评估,已经确认了测试方法和比较方法的干扰物质。在评估中应该排除有那些干扰物质的样本。
.工作组不同意这个评论因为不实际。如果20中干扰药物,所有的都不能包含一种或回顾病人记录
18.如果比较方法或测试方法列出的物质仅对一种方法有效,通过那些特殊的样本提供实验证据。另外,希望NCCLS关于评估这些样本提供侯选方法。
.见评论15
3.2部分
19.在下面句子中可信的定义:在良种方法之间实验给出了一个评估和可信偏差,在任意特殊的浓度。
.术语“可信”的定义已改为:3.2部分的“可信区间”,阐明了评论者关注的问题
20.按照设备性能的提高,新一代的精密度总的提高了,因此,要求比较者(上一代)更多2的精密度可能不能一致。另外,建议工作组关于测试和比较预期检测限不精密度使用和的平方根。制造商继续寻找比那些现有方法(常常是参考)更好性能表现的技术。然而,精密度未予说明,因为许多关于测试和比较偏差的统计程序有不同的精密度。
.任何设备的精密度可通过重复来提高。因此,已经改为:比测试方法有更好的精密度,如果需要,可通过重复来达到。
21.要求:“远离已知的干扰”本质上表明比较体系是一种高要求的方法,如参考方法,并不是在一个临床实验室可以提供的。工作组应重新措辞:[比较者]应熟悉和避免干扰物质。
.工作组已经修改了:无论何时,远离已知的干扰物质。
22.报告单位不同的评估,报告值应该转换成标准偏差指数(SDI:美国关于Z因子障碍术语)
因为在转换过程中取消报告单位,无单位的数据可以在分析中使用
SDI=(病人分析)-(参考区间均值)/参考区间标准差
.工作组没有发现转换的好处
23.工作组定义:“临床有意义范围”但没有定义“分析测量范围”
.已经增加了分析测量范围
24.表1的分布建议没有涵盖足够的异常网状细胞和差别的白细胞。单独留下流动参数
.在进一步的文件回顾中委员会会按建议修改这个表
25.表1b中的血红蛋白应该用g/dl不是mmol/l
.工作组不同意,血红蛋白的单位是mmol/l
3.32部分
26.随着技术的提高,让制造商在设计和更好的性能上有所进步。分析测量范围的扩大是自然推论。受老的比较方法的分析测试方法或设备的限制会局限进步的提高。比较方法中用稀释样本的方法是解决分析范围测试的限制的一种途径。如果这样不能满足,请提供详尽和进一步说明怎样制造商和使用者都能研究那些扩大范围。
.工作组同意这个评论。3.3.2部分已经删除。
27.临床标本的收集应该包括或略宽于窄的分析测量范围。如果制造商推荐的测试方法的分析测量范围宽于比较方法,侯选方法(线性,标准物质),必须找出有效的临床范围。
.看评论26的回应。
3.4.1部分
28.样本应该提到来自均质样本。
.工作组的观点是:这是好的实验室操作的一部分,不需要专门提出。
3.4.2部分
29.因为文件可能被其他实验组织(血液学)使用,建议工作组当整个标本是全血混合时,增加血清学相容性。
.3.4.2部分末已经增加了一句:如果标本是全血,混合要求血清学相容。
30.剔除干扰的混合样本除非包含细节(比如:ABO和RH相容性)
.见评论29
3.5部分
31.我们一致认为第二个样本“反转”或“随机化”减少系统转移,但会增加偶然误差。对样本而言,高值样本不论位置,都会带来潜在的转移干扰。因此,如果样本反转或随机,高值转移的干扰也会变成偶然的,且更难检测。在我们的研究中,我们分析重复顺序和后来的数据模式都存在漂移或转移干扰。
.工作组已经修改了,文本很清楚。
32.把第一段最后一句移到第二句后面,(最后一句应该是第三句)
.工作组同意并按建议已经改动了。
33.另外,第二的整除顺序应该随机,而不是在相反顺序。
.选择的顺序应该最小化线性漂移和转移,随机不能达到。
4.1部分
34.对血液学“可接受”限不是很有用,因为总的成对差异值本来是零。因此,“四倍规则”将排除绝大部分那些没有零差异的样本。在我们的实验设计中,我们检查了差异的分布和使用的恰当的统计方法(参数,非参数)。研究超过99%可信区间的值。如果是人为原因造成的,根据文件删除数据库中的样本。
.4.1部分已经增加了一句:分析应该按两种方式:1)用所有的点,2)删除任何的离群点
35.关于计算4倍绝对差异值的“可接受限”的方法不熟悉;应该给出这个规则的参考。另外,Tukey(1997,探索数据分析研究,Addison-wesley读物)提供了一个总的关于确认渐离数据点的规则。一个渐离值是大于3倍四分位数间距范围(茶叶在数据的75%和25%之间)如此的技术提供了测试方法和比较方法的重复差异(对绝对差异),可能比这里提供的更易于使用。
.请根据建议方法的来源,评论42的回复。使用者可提供的Tukey规则,狄克逊测试,或其他可在数据分析中检测离群的方法。这里描述的方法仅是建议。
4.2部分
36.我们一致认为按照报告和差异对测试方法和比较方法绘图是必须的评估工具。然而,我们对样本1测试和比较方法的结果画图在预期使用中更实际除非实验室报告值成对。
.任何附加比较的使用都是由帮助的。工作组选择了有代表意义的四个点作为数据的逻辑观察。
4.3部分
37.第三段,“如果没有线性部分是正式的………每种方法的线性必须证实是独立的”需要阐述清楚。是否每种参考方法测试对立第三种方法?我们想知道使用者应该怎样做?
.工作组已经删除了4.3部分下面的文本,增加了评论者关注的“………每种测试方法的线性必须独立证实。如果扩大方法评估不能揭示问题的来源……”
4.4部分
38.阐述清楚什么是数据绘图检查和什么是“明显离群的意义”
.工作组已经增加了词语“视觉上”。用一个指南去判断常常有些困难,但是工作组的观点,是需要的。
39.实验前,程序应该确信有更多的临床意义向前。实验后选择它们就象从你获得的数据中写规格一样。
.评论是正确的,然而,工作组发现让步不能影响目标的研究。
40.关于统计技术和结论给标准名(相关系数)
.工作组同意这个评论和检查文件关于标准术语的使用
41.血液学设备的制造商争取和分析者的饿零差异。当代表的分析仅是一种差异模式和不是分析方法差异时是真实的。因此,“4X”规则将确认大量样本不是零差异。因此,我们用“参数,非参数”方法。
.见评论42的回复,当然离群程序的校正必须,当数据无条件的在限制范围或非高斯分布。
42.请提供“四倍”参考值
.文件中提供的平均绝对差异的4X规则引自控制限,关于两个亚组范围的标准统计质量控制模式。范围值的四倍译成来源与单个成对均值范围的范围差异值三倍,作为在R-chart(全距管制图)的质控上限99.9%。简单限的更复杂统计引出表(如,Beyer WH ,CRC可能性统计和统计表和模式等)在这里,数据自身SD的评估是0.8862倍范围值,上限99.9%点是4.65*0.8862,或一个因子4.1。设计离群测试仅能获得在数据库中极端的离群。附加的相似的相对范围测试,按照同样逻辑但通过分析物浓度非恒量变化校正范围。
43.文件需要一个关于XY散点图和偏差图缩放比列的讨论。因为轴的范围不合适,常常会忽略一个趋势或改变。同时,XY散点图应该有明确的比列(X最小=Y最小,X最大=Y最大)目的是更容易识别线性和回归。NCCLS应该考虑附加的有用的医学临床决定限或那些点的可信限。
.图有明确的比列。工作组考虑增加医学决定限和可信线;然而,增加这样一部分会减去该段中目测信息。附加任何一个系列的线都没有错。4.2部分关于更多的绘制数据图的信息。
44.我们一致认为:如果明显的差异超出医学意义,然后停止评估是一种恰当的做法。然而,我们没有看到附加测试的益处,样本(n=40)如果 明显的确差异证明缺乏临床效用。
。实验室掌握灵活度。未得到预期的确结果重复研究常常根据一些可能引起无效结果的未知问题
45关于j的xij和yij的匹配似乎不合适,除非它们实际是配对测试,如,用同样能整除的测试。只是偶然,yij当同xij比较,而不是xi2时,可认为是离群。另外,因为目的是用测试方法对比较方法单个结果评估偏差,希望有关于比较方法的最好评估,xij 和xi2均值。因此,建议:方程式(9),用xi均值替代xij
.工作组同意,方程式已经修改。
4.5部分
46.方程式(13)的公式是正确的;然而,公式的复杂性不利于临床使用。如果工作组的目的是一个关于发展亚软件调度计算方法的计算图表,公式符合这个目的。然而,如果工作组上总的是用这个公式计算相关系数,那么嘉基的陈述可能更合适,自由文本应该定义这个术语。
r=Sxy/(Sx)(Sy)
.文本中的公式和注释来源于许多标准的统计文本,可能相似于那些假定的概念,在背景上允许匹配更完整的统计参考,解释和计算相关系数。工作组的意见是:在这里建议等同的速记注释将更不容易解释,和不易读懂数据表或其他辅助计算。
47.4.5部分第二段是感兴趣的使用相关系数。可能,参考对那些希望更全面的研究使用更有益。工作组使用r2没有定义。在1.3部分文本使用的标记中包含它。可能,应该介绍(r2X100)作为Y来自X的预期值。r2的使用应该合并在用回归分析讨论Y来自X的预期值的讨论中。(5.1部分最后一段)
我觉得没有意义使用“r”去判断作够的临床范围。它可能适合给一个据称有用的临床决定水平的范围,表明“n”去进行极端分析或关于每个参数医学截断值(cotoffs)。用H20A为列。同时,注意统计分析方法可通过外力引出,如,CAP,JCAHO。在欧洲政府本身也转换研究新的技术通过那些使用甚至不合适的现行方法(线性回归是其中之一)。
.依赖数据范围的相关系数是它的定义公式的副产品。建议的偏差是许多类型数据库的最初检查,就相似于检查钠和钾关于限制分析范围的相关系数。同时数据范围对“r”的影响可以通过列子来检查,这里在范围极限单个的点能够明显引起“r”不同于剩余数据,经验的真实偏差来源于Hald 1952 (机械统计理论)在这里说明了“r”和斜率回归是通过一个叫拉姆达的因子引起的,X的变化对整个观察的Xs变量分布的比列误差。如果X的数据范围足够宽,那么X的不精密性对斜率有很小的影响。同样的比列在相关系数公式中,在NCCLS EP-9文件中测试的目的是确信数据范围足够宽去减少来源与X误差的斜率偏差
48.关于一些血液学参数,分析自然产生的范围是限制的(血球的血红蛋白浓度值,亲碱的,单核细胞)。关于这些情况,线性回归和部分显示限制值。因此,希望工作组用样本差异值描述差异,如果偏差图没有显示一个和浓度相关的差异。
.工作组同意已经增加了影响的部分。
49.我们不明白什么级的相关系数有足够的范围。因为这部分关于X测试误差的处理,我们的观点是检查一个高的相关系数的效用是决定是否应该使用德明回归,而不是通常的最小平方。诊断使用表明德明目的需要是在Y-上-X和X-上-Y的斜率回归,符合相关系数的低值。
不明显的是为什么样品的相关可以增加足够的X范围。应该给出关于这个的参考。在一定的假定注释下,当Xs存在误差时有一个简单的判断回归程序。它可能对那些参考有用。
.见评论47。
5.1部分
50.我们同意这阐述:不要使用正交回归和德明回归关于计算标准误评估,因为值会人为的降低和不确切。可能为强调这一警示,工作组应该在文本中画线。
.工作组欣赏评论者的建议,然而,为了一致,这样的文本形式要保留。
51.给出这些技术的使用,标准误判断不同 。技术本身可能不适合。同样的评论对8部分最后一句。
.工作组不回应缺少进一步信息的评论。
52.在这段中提到德明回归,但是对它是什么和什么时候该使用没有任何解释。
.工作组增加了关于“德明回归”定义和“Passing-Bablok”的定义。
5.2部分
53.句子“虽然一些方法在整个分析范围内的测试友稳定的不精密度,目测决定在范围的上限和下限末是否有明显的差异”是一个感兴趣的概念。可能工作组应该参考对那些希望更详细的研究是否有意。关于参数已经扩大的临床范围,这3:1规则可能更乐观;然而,方针可能要确认,如果比例作为功能范围来扩大。思考和评论值得研究。
.3:1的限包含许多常规临床分析的情况。关于最大范围分析,3:1的限常常被超出。在这些情况,转换或衡量最小平方可能适合判断修正目测明显异方差。异方差不是介绍一种偏差,但是结果是可信区间和比恰当衡量修饰略差。
54.目测不能用在数量上(3:1)测试意义。
.虽然评论是正确的,工作组需要比较易于使用和精密。适当的目测将满足更多需要。
55.希望工作组提供一个推荐的数据库大小。列如,如果比列是1:6,工作组建议增加收集75个样本和那些应该选择关于在整个预期临床范围提供的特殊分布。
.工作组必须要确信文件不是太全面。在这种或那种情况,工作组建议使用者根据文件的指导判断和不是一些目的算法。
56.不清楚工作组的意思:如果标准误的评估不是对所有数据适用或对非均匀分布适用。
.评论者的关注“均匀”已经替换成“稳定”
57.请日工一个参考关于“可用的标准误评估”
.工作组使用它的校正。逻辑上,不能使用不稳定的数字(如,上升的标准误)通过分析范围下一个结论。
58.我们关注变换使用,当它是适合的时候,然而,工作组希望强调关于临床意义引出的结论,最好,当转换数据是使用困难时。另外,转换可能掩饰临床意义上的不精密性。希望工作组删除这段话,因为没有数据列子,可能混淆使用者。
.工作组试着进行全面的指导,同时相信这部分的结论是恰当的。
59.关于“不均匀散点”应该给出一个参考
.工作组已经在整个部分变换了术语“均匀散点”为“稳定散点”
60.已经考虑了数据的独立问题和什么是正当的理由呢?建议的回归程序包括使用在每个项目上重复两次,同如果他们是两种独立的观察一样。
.我们一致认为同样标本的重复结果是独立于分析的意义的,但是他们不是完全的独立,因为他们没有同病人来源分离。在3.5部分,最小的样本顺序来源于偏差的影响,如偏移要影响独立性。推荐的计算包括耽搁的Ys对X均值和均值Y对均值X。
61.在文件中,推荐一个样本40个项目(每个重复2次)。取决于什么呢?怎样知道是否足够或太多呢?可能决定每个样本的大小来源于每个独立研究的研究假说。在给定的情况保证样本大小是正确的。
.见评论7
62.一个组织工作于存在于内心的测试设备,因此,不可能按照NCCLS EP-9明确的指导在每一个病人样本上重复测量。在他的情况下,他的系统八分钟测定一个病人后开始一个性的样本,第二次读数,但是现在我们处理这样一个情况:在这里可以改变的更多地取决于生理学的变化而不是测试设备本身的不精密度。
因此工作组应该以一定的方式增加这样一种情况:认同一定的技术不是通过重复测试病人的标本来服从。(另外,工作组应该考虑对比较方法而言什么是合适的样本,哪一个假定上是一个标准实验分析。该什么时候从那里收集样本,相对“内在的”测试?)将来,更多的技术发展取决于“流量”或“体内”测试,如,需要清楚地阐明这种争论点将更重要。
另外情形再这里重复测试可能不会接受当单个的分析成本相当高时,以致实验室不可能重复测试。
.文件对关于怎样收集样本没有限制。取决于使用者要确信样本是有代表性的。重复测试是理想化的但没有也可以。
63.标记轴表明所有单个的Yij对Xij点绘图,反之这说明(绘制图)需要的点“Yij对Xij值”请阐明。
.工作组同意,已经纠正了错误。
64.在这段上的计算结果是混淆的。当前的r2值与介绍的“Yij对Xi”计算值一致。我情愿相信这是正确的。然而,给定的斜率和截距同回归(Y=1.0035X-0.6283等同于当前的公式)不一致。单个的数据点的回归分析与给定的值不一致,请阐明。
.这是一个错误,已经纠正了。这个回归公式是计算单个Y观察和X观察值。
65.NCCLS EP9文件的目的是评估预期的偏差和在预先定义的医学决定水平的可信区间。因此,这句话:如果“95%的可信区间……=149.9”应该写作“在医学决定水平95%可信区间的预期偏差=150”:
Bc^ = -0.429+(1.002-1)*150=0.129
1.计算公式23,Bc^ =a+(b-1)*Xc
2.低95%.......
“表5-2可信区间和关于直线回归的预期区间”的拷贝,公式24不能直接由表提供。你们能提供公式24的诱导吗?随着软件的确认在工业中的发布变的很重要,所有来自我们测试程序的结论不得不确实。如果能提供公式24的诱导会很有帮助。
.公式24是关于偏差值的,不是象在标准参考中的线性回归预期值。因为,我们最初感兴趣的是在决定水平的偏差(预期差异),在核心值的可信区间已经校正了。
66.关于重复方法的离群测试似乎在四倍绝对差异值和四倍相对差异有很大的可接受限。我已经观察在重复离群测试的意义。
.评论者同工作组分享了数据集合。在数据集合中40对有3个离群。当离群的百分数如此大,没有统计测试可以从剩下的数据中区别离群。在方法精密度的离群可能具有代表意义。如果在测试和比较方法之间精密度有很大的不一致,4.4部分的“目测方法间离群”应该检测。
6.1部分
67.当前的公式相当复杂的数学图。可能,工作组试着用一个简单的保持临床关联。列如,Y的95%的预期值可以用标准误粗略的决定:
SEM95%confidence=+2Syx/ndatapairs
.工作组同意文件中的许多公式都很复杂,会混淆和令人怯步。然而,总的方针是正确的和可拥护的定义以及始终使用公式,而不是简单的,粗略的近似值,在其他的指导中忽然内容易评论。
6.2部分
68.请包含数据列子会更进一步阐明配对方法。
.工作组相信程序已经作够简单和不要求附加列子。
7部分
69.我们一致认为新的方法可能精密稍差但有其他益处,列如,更少的干扰物质。在这些情况,希望工作组建议:病人的分析结果应该包括在95%可信的不精密度的说明(如下)
血糖:87(+4)mg/dl
这个概念相当新颖因为实验室测试结果总的不包括不精密度说明。然而,当考虑常规治疗模式的使用,不确定分析的编入使医学决定点不那么明显。
.建议关于不确定评估已经超出了文件的范围
70.这部分要求附加讨论。可能找到新的比较方法存在的偏差会更好。在医学决定水平的精密度,参考范围,特异性和敏感度必须考虑在内。
.工作组同意但是希望限制文件的范围
71.我们一致认为说明“如果制造商声明的平均偏差包括在95%可信区间,那么可以下侯选方法提供了等同结果的结论”因为需要更多的时间解释使用者核实结果是制造商统计研究的一个子集。
.工作组谢谢评论者的这个评论
8.3部分
72.标记建议假定回归分析是恰当的数据分析。在一些情况,这是真实的;然而,关于其他的分析,如白血球微分参数,其他分析可能更适合。因此,希望工作组辨认在声名要求中的侯选分析方法。
.文件的范围限制去测试有连续定量的结果。
73.满足线性回归的斜率和截距可能不适合技术的技巧
.见评论72
代表评论和委员会的回应概要
EP9-A2:方法比较和用病人标本的偏差评估;批准方针:第二版
概要
1. 确认分析问题的一个重要特征是x和y的测试是一个分析,z,未观察和目的的改变。方法比较实验的目的是用测试方法对参考方法单个的结果来评估偏差。方法比较的任务是去确认,因此,关于这种评估线性回归可能不是一种好的方法。
. 委员会不同意评论者总的饿模式。标准的回归模式应用于诊断分析中,当比较分析是参考方法时,假定“X”是已知的且没有误差。没有必要援引一个变量“z”。
1.4部分
2. 分析测试范围(AMR)的使用是极好的,文件与CAP鉴定合格项目的定义一致。我建议在整个文件中删除术语“报告范围”,并用术语“AMR”替代。用两个术语“AMR”和“临床报告范围”替代单一的术语“报告范围”使每个术语指待的内容更清楚。
.委员会同意,建议已经合成一体了。
3.1.1部分
3.用“被测量”替代“要素”,与ISO一致
.委员会同意这个评论,已经进行了修改。
3.2 部分
4.第二个核心“TO”;第四个用“度量衡学的”替代“国家的”,提高全球的接受。
.工作组相信不管是“TO”或“国家的”都是需要的。已经删除了这个词。
3.6 部分
5. “分析……两小时之内”是武断的,不适用许多的分析,如,血气,血糖,氨等。建议:对一个给定的样本,比较方法和测试方法的分析应该在分析物稳定的时间范围内进行。对所有的分析物而言,每一种方法的分析的时间距离不超过两小时。
.委员会同意,已经进行了修改。
3.8部分
6.增加一条线“和/或制造商的”在“按照实验室的”后
.委员会同意,并已经做了修改
4 部分
7. 纠正表1底部格子“内部的”拼写。
.出版者已经修改了
8.表2和文本中学多用术语测试和比较方法值之间偏差的地方的意思不同,如,偏差图等。术语偏差给定的的定义“预期的测定结果和真值的差异”真值(在ISO术语学中)仅提供如果样本用参考方法已经重复分析。我建议用术语“差异”替代“偏差”除非确实知道真值。
.委员会同意这个评论,已经在1.4部分增加了术语“准确度”,“偏差”和“真实性”的定义,同时的下面的3.2部分段落:“如果比较方法是参考方法,那么两种方法测试的差异在于新方法的真实性,测试用偏差。如果比较方法不是参考方法,不能决定新方法的真实性可靠,这种情况时,应该推荐一种简单的差异,而不是偏差,因为先前的目的是用参考方法作为比较方法,这份文件中用的是“偏差”。”
4.2部分
9.第二和第三段的单词“or”用在当“for”在短语意思“……或每种分析”时。
.委员会同意,并已经做了修改。
4.5部分
10.公式15末尾的第一句“(接近,r2 =0.95))”应该是“r2 ≥0.95)”
.委员会同意,已经进行了修改。
11.有一些扩大数据范围的分析是不可能的,如,钠,氯,钙等,配对偏差程序也不合适。我建议增加下面一些句子:在一些生理分析范围相对较小(如,钠,氯,钙等)扩大范围或配对可能不可能。在正样的情况下,增加数据可以提升分析或数据图数据限的解释。
.委员会不同意。配对偏差的设计包含了关于分析物有限制范围的情形了。
8.3部分
12.表1a和表1b的“测试”栏中给定的单位(如,mg/dl)在两个表中是一样的,尽管表中的数字是不同的。这些意思是重量对摩尔浓度吗?
.重量(对照容积)意思是配置浓度(如摩尔浓度);因此,表1a和表1b的“测试”栏继续保持。
13.用“真实性”或“真实性或准确性”替代“准确性”
.委员会同意。这句话已经修改为:“除非比较方法是确认的参考方法,否则不应使用术语“准确性”和“真实性”。
14.附录B1,B3和B4应该在X轴下面沿X轴著明数字。
.委员会同意评论者关注的相关表,已经按照建议进行修改了。
NCCLS相关的出版物
EP5-A 评估临床生化设备的精密性,批准指导方针(1999).这份文件提供了关于评估临床生化设备精密性实验设计的指导;建议同制造商声明的精密度表现来比较精密度结果,同时哪种比较是确实的,正如制造商关于确定声明的指导。
EP6-P2 评估质量分析方法的线性,建议指导方针-第二版(2001).这份文件提供了关于在方法评估中的线性特征;线性检查作为常规质量保证的一部分;以及决定和表明制造商的线性范围的声明。
EP7-P 临床生化的干扰实验;建议指导方针(1986).这份文件提供了背景信息和干扰物质对测定结果的影响特征。
NRSCL8-A 关于在NCCLS文件中使用的术语和定义;批准标准(1998).这份文件提供了在NCCLS标准和指导方针中使用的标准定义,国际参考体系承认的关于临床实验室
侯选参考方法和参考物质。
不是
是
不止一个离群
可以
r2≥0.95
不是
不是
是
是
是
不是
是
不是
不是
不是
不是
是
是
是
是
不是
不是
_1257749121.unknown
_1258177806.unknown
_1258178167.unknown
_1258178279.unknown
_1258178390.unknown
_1258178568.unknown
_1258178614.unknown
_1258178798.unknown
_1258178933.unknown
_1258178724.unknown
_1258178588.unknown
_1258178513.unknown
_1258178340.unknown
_1258178380.unknown
_1258178302.unknown
_1258178260.unknown
_1258178182.unknown
_1258178225.unknown
_1258177986.unknown
_1258178097.unknown
_1258178118.unknown
_1258178041.unknown
_1258177875.unknown
_1258177876.unknown
_1258177838.unknown
_1257750015.unknown
_1258177630.unknown
_1258177732.unknown
_1258177743.unknown
_1258177672.unknown
_1258177512.unknown
_1258177569.unknown
_1258177481.unknown
_1257750250.unknown
_1258177370.unknown
_1257749484.unknown
_1257749659.unknown
_1257749824.unknown
_1257749766.unknown
_1257749803.unknown
_1257749606.unknown
_1257749444.unknown
_1257749467.unknown
_1257749331.unknown
_1257680274.unknown
_1257680543.unknown
_1257748349.unknown
_1257749093.unknown
_1257749120.unknown
_1257749050.unknown
_1257748738.unknown
_1257748024.unknown
_1257748279.unknown
_1257680558.unknown
_1257682335.unknown
_1257680379.unknown
_1257680403.unknown
_1257679764.unknown
_1257679998.unknown
_1257660040.unknown
_1257679635.unknown
_1257679656.unknown
_1257679563.unknown
_1257679607.unknown
_1257679210.unknown
_1257659993.unknown