六西格玛-它在风险管理中有意义吗?
2021年9月06
作者:Zoe Brooks代表AWEsome Numbers Inc .
本文考察了西格玛值是否是实验室中管理风险的最佳度量(甚至是可接受的度量)。西格玛指标能否转化为风险,定义为“危害的概率和严重性的结合”?“1
在阅读时挑战自己,将“DIMS测试(它有意义吗?)”应用到风险管理中的西格玛指标的理论和实践中。
六西格玛的起源
六西格玛的先驱,摩托罗拉,制造了在交付给客户之前不需要测试的寻呼机。客户收到时,每一百万台出货的寻呼机中只有大约3.4台不能正常工作,他们将其等同于一个长期稳定的制造过程,在此过程中,它需要与当前平均值偏差6sd才能达到故障极限这其实不是真的;他们从测量的sigma中减去1.5 SD,以允许系统中的长期漂移6西格玛实际上相当于每十亿次机会有2个缺陷,每百万次机会有3.4个缺陷对应的西格玛值为4.5。在你测量之前,考虑一下:“你根据sigma的值做出了什么决定?”“你关心的是现在的过程质量,还是你感兴趣的是几年的平均性能?””“用1986年在摩托罗拉观察到的1.5 SD的性能变化来代表你们实验室方法在2021年的性能吗?“你们实验室仪器的这种变化有科学依据吗?”
实验室不是工厂。
制造过程通常每年制造数百万个产品(缺陷的机会),大约每天3000个。相比之下,实验室可能每天在不到100个样品上产生结果(缺陷的机会)。制造设置根据他们所创造的所有实际产品的测量计算西格玛;实验室经常只在几次每日重复的代理样本上计算sigma,这些代理样本被认为反映了向客户报告的样本的准确性和精确度。尽管存在这些根本的差异,实验室已经粗略地采用了生产中可接受的西格玛值,理想的目标是6西格玛,临床实验室测定的最小西格玛指标为3.04。医学实验室的可接受标准是基于临床需要还是生产标准?根据客户的需要为其他实验室设定可接受的标准?
计算和解释是不同的。
在制造设置中,确定西格玛的过程是:1:定义机会,2:定义缺陷,3:测量机会和缺陷,4:计算良率,5:查找过程西格玛。在实验室设置中,sigma计算为[(公差极限-|偏差|)/SD]或[(公差极限为%-|偏差为公差极限|的%)/CV%]。当存在偏差时,这两个公式不能产生相同的结果。考虑如表1所示的测量过程。
质量控制样品的真值或目标值为100个单位,公差限值或允许误差限值为12个单位。6单位的正或负偏差,当从度量单位计算时,sigma = 3.0。当同样的数据转换为百分比时,当偏差为负时,sigma计算为2.8,当偏差为正时,计算为3.2。每个小学生都知道不能将不同分母的分数相加;DIMS要改变实验室管理规则吗?
表1负偏倚正偏倚零偏倚
Units Percent单位百分比
允许误差12.0 12.0% 12.0 12.0% 12.0 12.0%
True/Target 100.0 100.0 100.0 100.0 100.0
平均94.0 94.0 106.0 106.0 100.0 100.0
绝对偏差6.0 6.0% 6.0 6.0% 0.0 0.0%
SD或CV% 2.0 2.1% 2.0 1.9% 2.0 2.0%
Sigma 3.0 2.8 3.0 3.2 6.0 6.0
西格玛指标包括西格玛值和每百万机会缺陷(DPMO)。尽管有这些资源,但在2020年9月由38名实验室专业人员完成的领英民意调查(图2)显示,在3-西格玛转换为DPMO方面存在重大分歧。只有23%的人意识到正确答案是每年1,350或2,700个错误,这取决于是否存在偏见。54%的人认为每年有超过66000个错误,可能是因为他们使用了包含“西格玛偏移”的在线表格。dim是否认为3 σ可以接受,并认为3 σ等于66807 DPMO——失败率为6.7%?dim向客户报告6.7%的测量结果是“好的”,而实际上是“坏的”?你的客户会受到什么潜在的伤害?
是最好的风险指标吗?
风险评估是“将估计的风险与给定的风险标准进行比较,以确定风险的可接受性的过程”。图3显示了基于作者从一系列海报10,11,12中获得的实际数据,从43个分析过程中获得的101个葡萄糖质量控制样本结果。检查σ值[A]将识别出7个低于3 σ的样本(从单位计算,而不是百分比)。这将导致人们“考虑需要更多的QC材料或运行适当的质量监测或化验或工艺改进,以减少偏差和不精确性。“4个dim增加QC样品的数量时,这对改进方法没有任何作用?”人们只能自己决定这个问题是准确还是精确。下面的两个图,修改自来自AWEsome Numbers Inc.13的CatalystQC™软件的报告,确定了11个不符合可接受风险标准的QC样本,指定为错误的数量和成本。另外24个样本需要改进,因为根据[B]每年的错误数量和[C]可避免的后续检测和治疗的临床成本——患者伤害的概率或严重程度,它们接近可接受的风险限度。在本案例研究中,患者测试人群正常化为每天100个样本,每年36,500个样本。超过85%的这些分析过程每年产生不到一个医学上不可靠的结果(MUR)。基于3西格玛,每年可接受的误差数是49。 DIMS to allow 49 errors per year based on manufacturing standards, when most medical laboratory processes are capable of producing only one MUR/year?
西格玛值不代表错误成本。
在医疗实验室内,已确定后续检查和病人治疗的费用与错误的大小成正比类似的情况也可能发生在其他设置中,产品的测量值随着误差的增加而减少。图4说明了零偏差的6-西格玛方法[a]的平均临床误差成本为18.70美元,而另一种具有显著偏差的6-西格玛方法[B]的平均临床误差成本为55.00美元。用一个不能反映危害严重程度的度量来管理风险的dim ?
西格玛并不指导改进。
图5显示了上面讨论的101个葡萄糖QC样本的方法偏差%和CV%。确定为“待改进”的样本有一些接近或超过可接受的风险标准的错误或成本。在本案例研究中,可接受的误差数被设置为49 MUR/年,计算为36,500 x 0.135%,以代表认为3-西格玛是可接受的常见做法。可接受的平均错误成本定为40美元。下面的图显示了性能与模型改进的%偏差和CV%在识别的样本中具有可接受的性能的平均值。调查这些和方法特定的错误,以提高准确性或精密度:
校准器恶化了
试剂批次变化或变质
过期试剂的使用
更改了测量系统设置
光谱漂移了
例行维护或清洁A/P
外部维修/ P
改变试剂A/P的处理
污染-取样和分配P
患者样本结转P
不一致的样品体积P
虽然西格玛值可以提醒工作人员提高方法的准确性或精密度,但现在的软件可以区分所需的具体改进,并指导工作人员采取适当的行动。表2是为提高[a]精度和/或[P]精度而研究的典型原因的样本列表。这个列表可以在软件中针对特定的分析过程进行修改。标准操作程序可以描述纠正已确定的风险增加原因的步骤。所有的工作人员都可以被引导到一致的解释和行动。
风险管理软件指导减少实验室错误的数量和成本。
本研究中的101个葡萄糖QC样本控制了370万患者样本的风险(数量和错误成本)。如果实验室能够提高方法的准确性和精密度,以满足大多数同行的要求,他们就可以避免3615个医学上不可靠的结果,并节省1720万美元的临床护理费用。
结论
风险是“伤害的概率和严重程度的结合。“1Number of errors per year is a more meaningful reflection of the probability of harm in laboratories than Defects Per Million Opportunities (DPMO.) Values from sigma tables are not accurate in methods with zero or little bias. Cost of error is proportional to size of error; sigma values cannot be converted to cost. It makes sense for laboratories to use risk management software to reduce the number and cost of harm for their clients by following software-guided improvement to meet peers.
基于风险管理的实验室质量控制,已批准的指南。EP23-A CLSI文档。Wayne PA:临床和实验室标准
2 https://www.isixsigma.com/new-to-six-sigma/sigma-level/should-you-calculate-your-process-sigma/
3 https://www.isixsigma.com/new-to-six-sigma/dmaic/15-sigma-process-shift/: ~:文本=使用% 20这表% 20你% 20,% 20σ% 20值% 20的% 204.5。= % 20差异% 20 201.5% % 20 % 20σ% 20的转变。
4 https://www.aacc.org/cln/articles/2020/april/the-case-for-six-sigma-in-lab-quality-management-systems
5 https://www.westgard.com/six-sigma-calculators.htm
6 https://www.isixsigma.com/process-sigma-calculator/
7 https://www.westgard.com/sixsigtable.htm
8 https://www.moresteam.com/toolbox/six-sigma-conversion-table.cfm
9 ISO 14971医疗器械风险管理在医疗器械中的应用https://www.iso.org/standard/72704.html
10 https://www.researchgate.net/publication/290607153_Benchmarking_Laboratory_Quality
11 https://www.researchgate.net/publication/281870192_The_Business_Case_for_Optimized_Quality_Control_Practice_AACC_2012
12 https://www.researchgate.net/publication/281870223 Evaluation_of_Quality_OptimiZer_Software_to_simplify_application_of_CLSI_EP_23-A_minimize_patient_risk_and_reduce_clinical_cost
13 https://awesome-numbers.com/
国家标准与技术研究所。04.1规划报告。校准误差对医疗决策的影响。2004.http://www.nist.gov/director/prog ofc/report04 - 1. - pdf。
Zoe Brooks是AWEsome Numbers Inc.的首席执行官和联合创始人,曾在所有主要实验室部门的一线工作,曾担任实验室经理、省级检查员、区域技术专家、私人实验室区域经理、作者、教师,现在是一名企业家。DIMS测试是在罗格斯大学的一门在线硕士课程中开发的。她在1990年编写了质量管理软件,以解决她在试图将有效的质量控制引入6个农村实验室时遇到的问题。Zoe毕生致力于医学实验室质量的提高,她相信CatalystQC™软件可以在全球医疗保健成本方面产生巨大的影响。电子邮件:zoe@awesome-numbers.org