Шесть сигм в лабораторной диагностике

Введение

Концепция шести сигм, как и практически все методы контроля качества пришла в лабораторную диагностику из промышленного производства.

Суть метода, если говорить совсем просто, заключается в измерении и снижении количества брака в производстве.

Брак в лабораторной диагностике

Первое что нужно сделать для применения концепции шести сигм в клинико-диагностической лаборатории - это определиться с тем, что будет считаться браком, а что качественным результатом.

Для целей данной статьи мы будем говорить только о контроле качества аналитического этапа количественных измерений (как например, практически вся биохимия).

Так вот приемлемыми будут считаться результаты, которые отличаются от истинного значения концентрации определяемого вещества не более чем на определенную, заранее заданную величину.

Например, у нас есть образец, в котором нужно измерить концентрацию глюкозы. При этом фактическая концентрация глюкозы в этом образце 5.56 ммоль/л. Допустим предельно допустимое отклонение 0.15 ммоль/л, соответственно вычисляем диапазон в который должно попадать наше измерение 5.56±0.15 получаем 5.41 - 5.71 ммоль/л. Теперь если при измерении мы попадаем в этот интервал (например, 5.47), то измерение выполнено качественно и получен приемлемый результат, если не попадаем (например, 5.73), результат считается ошибочным.

А если мы измерим этот образец очень много раз, то в силу конечной точности нашей аналитической системы получим много разных результатов, которые будут группироваться вокруг среднего значения и образуют кривую нормального распределения.

Распределение измерений
Распределение измерений

Где TEa это предельно допустимое отклонение от истинного значения в обе стороны (которое нам было уже известно), а Bais это смещение полученного на практике нашего среднего от истинного значения. И теперь мы получаем, что те результаты измерений, которые попали в диапазон истинное значение ± TEa считаются правильными, а те наши измерения, которые выпали за этот диапазон ошибочные (на рисунке красным цветом).

Конечно же сразу возникает вопрос, а какое отклонение от истинного значения концентрации считать предельно допустимым!? И, пожалуй, это самое слабое место в применении концепции шести сигм в лабораторной диагностике.

Наиболее универсальный рецепт - это вычисление допустимой общей биологической ошибки TEab (allowable biologic total error) на основании коэффициентов биологической вариации того или иного показателя.

Сначала считаем предельно допустимую аналитическую вариацию:

CV a = 0.5 * CV i

Где CVi внутрииндивидуальный коэффициент вариации для данного показателя. То есть колебания данного показателя у одного индивидуума, обусловленные различными физиологическими причинами.

Далее вычисляем предельно допустимое смещение:

Bias a = 0.25 * CV i 2 + CV g 2

Где CVg - это коэффициент межиндивидуальной вариации, то есть изменчивость нашего показателя при определении у разных пациентов.

И теперь наконец вычисляем нашу предельно допустимую ошибку измерения:

TEa b = Bias a + 1.65 CV a

Допустим, где-то в литературных данных мы нашли коэффициенты биологической вариации для глюкозы: внутрииндивидуальный - 5.6%, межиндивидуальный - 7.5%.

Используя приведенный выше метод получаем:

CV a = 0.5 * 5.6 = 2.8 %
Bias a = 0.25 * 5.6 2 + 7.5 2 = 2.34 %
TEa b = 2.34 + 1.65 * 2.8 = 7 %

Таким образом предельно допустимая ошибка измерения не должна превышать 7 %. В вышеприведенном примере, если мы измеряем образец с концентрацией глюкозы 5.56 ммоль/л максимальная ошибка 5.56 * 0.07 = 0.39, и соответственно мы должны попадать в диапазон 5.17-5.95.

Нужно сразу оговориться, что данный способ получения значения TEa не является единственным. Кроме того, что эту ошибку можно напрямую взять из литературных данных, во многих странах величина предельно допустимой ошибки регулируется государственными органами. Например, в США Centers for Medicare & Medicaid Services напрямую регулирует данный показатель для приблизительно восьмидесяти лабораторных тестов.

Важно понимать, что данный показатель может быть разным у разных лабораторий, так как берется из разных источников и даже если две лаборатории вычисляю его по приведенной выше формуле, они вполне могут брать разные значения коэффициентов биологической вариации.

Прежде чем переходить непосредственно к сигмаметрии нужно также отметить, что, проводя большое количество измерений показателя в одном и том же образце лаборатория, кроме того, устанавливает такие параметры своей системы как стандартное отклонение (SD) и смещение (Bias). Как правило стандартное отклонение лаборатория вычисляет, просто анализируя несколько раз контрольные материалы для внутрилабораторного контроля качества (не менее 20 измерений в разных сериях). И с этим особых вопросов не возникает. Из этих же измерений лаборатория определяет свое среднее значение для каждого показателя в конкретном контрольном материале.

Со смещением дело обстоит несколько сложнее - для этого нужно вычислить разность между полученным своим средним и истинным значением концентрации, а для этого нужно знать истинное значение. Тут на помощь приходит внешний контроль качества.

На всякий случай кратко опишу как это происходит.

  • Провайдер внешнего контроля качества рассылает в лаборатории контрольные материалы с неизвестными для лабораторий концентрациями.
  • В лаборатории материал измеряется и данные отправляются обратно провайдеру.
  • Провайдер анализирует полученные данные и отправляет обратно в лабораторию результаты контроля, в том числе и указывая лаборатории какое у нее получилось смещение относительно истинного значения.

То есть установка истинного значения производится на стороне провайдера внешнего контроля качества.

Вообще, наиболее предпочтительным с точки зрения здравого смысла способом установки истинного значения является измерение тех же контрольных материалов референсным методом. Но на момент написания статьи в РФ не существует ни одной программы внешнего контроля качества, которая предоставляла бы данную услугу. Поэтому истинное значение показателя устанавливается провайдером как среднее значение в каждой конкретной группе. При этом лаборатории группируются по используемому оборудованию и реагентам. То есть, например, вычисляется среднее значение глюкозы, которое намерили все лаборатории работающие на приборе “А” в одном и том же контрольном материале и смещение каждой лаборатории это отклонение ее результата от среднего в данной группе.

Плавно переходим к сигмаметрии

После того, как лаборатория тем или иным способом определилась с предельной ошибкой, которую она считает для себя приемлемой, а также вычислила свои значения стандартного отклонения и смещения можно переходить непосредственно к методу шести сигм.

Теперь для каждого теста лаборатория должна вычислить показатель сигмаметрии по формуле:

Sigma-metric = TEa-|Bias| SD

Где SD - стандартное отклонение.

Либо, для вычисления могут быть использованы процентные величины.

Sigma-metric = %TEa-|%Bias| CV

Физический смысл данного показателя следующий: он показывает во сколько раз расстояние от вашего среднего до ближайшей границы недопустимых результатов больше вашего коэффициента вариации (стандартного отклонения).

Графический смысл сигмаметрии
Графический смысл сигмаметрии

Чем больше данный показатель, тем меньше вероятность того, что при измерении вы выйдите за допустимые пределы и, соответственно, тем меньше лаборатория выдает результатов, которые считаются неправильными.

Когда речь заходит о концепции шести сигм в производстве количество брака принято измерять в количестве дефектов на миллион DPMO (defects per million opportunities). Применительно к лабораторной диагностике DPMO - это количество неправильных результатов из миллиона проведенных исследований.

Зная показатель сигмаметрии, можно вычислить DPOM, а также для этого существуют заранее составленные таблицы.

Sigma-metric DPMO
1 697672
2 308770
3 66811
4 6210
5 233
6 3.4

Таким образом показатель сигмаметрии как бы является критерием качества выполнения лабораторией определенного теста. Чем он больше, тем меньше лаборатория выдает неправильных результатов по данному тесту.

Из таблицы видно, что при достижении значения критерия равного шести сигмам, на один миллион в среднем выпадает всего три дефекта. Данный показатель считает очень хорошим и именно от этой цифры метод и получил свое название.

Допустим лаборатория определила предельную ошибку для измерения концентрации глюкозы как 7%.

Из внутрилабораторного контроля был вычислен коэффициент вариации - 1.35 %

Из внешнего контроля стало известно смещение (bias) - 1.6%

Вычисляем показатель сигмаметрии для глюкозы в данной лаборатории:

(7-1.6) 1.35 = 4

Таким образом лаборатория выполняет данное исследование на уровне 4 сигм.

DPMO = 6210 (0.6%)

Графическое отображение сигмаметрии

Теперь давайте сделаем следующее преобразование: построим график по оси абсцисс которого будем откладывать коэффициент вариации, а по оси ординат будем откладывать смещение при каком-то определенном значении предельно допустимой ошибки.

Получившийся график называется график выбора метода (method decision chart).

Значение всех возможных сочетаний CV и Bias соответствующих какому-либо конкретному значения сигмаметрии на данном графике будет выглядеть в виде прямой линии, пересекающей ось y в точке TEa и ось x в точке TEa/Sigma-metric.

Соответственно все точки, лежащие на графике выше и правее определенной прямой, будут иметь значение показателя сигмаметрии меньше, чем данная прямая. И наоборот, точки, лежащие ближе к началу координат от определенной прямой, будут иметь значение сигмаметрии больше, чем данная прямая.

Проще говоря, чем ближе точка к началу координат, тем лучше.

Данный график получил такое название, потому что он позволяет в графическом и наглядном виде выбрать лучший метод для измерения того или иного показателя.

Например, нужно выбрать между двумя наборами для измерения глюкозы.

Из инструкций к данным наборам нам известны следующие их аналитические характеристики:

  • Метод А: CV - 1.25%, Bias - 1.55%
  • Метод B: CV - 1.65%, Bias - 1.15%

Какой набор предпочтительнее, с большим коэффициентом вариации, но с меньшим смещением или наоборот, с большим смещением, но меньшим коэффициентом вариации? Интуитивно ответ не очевиден. Но если отложить данные точки на графике выбора метода (при фиксированном TEa=7%), то мы получим следующую картину:

график выбора метода (method decision chart)
график выбора метода (method decision chart)

Из данного графика видно, что метод А обладает показателем сигмаметрии больше 4 (так как лежит ближе к началу координат от линии 4 Сигмы), в то время как метод В обладает показателем сигмаметрии больше трех, но меньше четырех.

Следовательно, при прочих равных условиях выбор метода А более предпочтителен для лаборатории так как он позволит получать меньшее количество ошибочных результатов чем метод В.

Следует сказать, что все то же самое мы можем получить и просто подставив соответствующие показатели в формулу для вычисления сигмаметрии:

  • Для метода А: (7-1.55)/1.25 = 4.36
  • Для метода А: (7-1.15)/1.65 = 3.55

Что мы и наблюдаем на графике.

Основным недостатком приведенного выше графика является его зависимость от конкретного значения TEa. Для каждого значения TEa требуется отдельный график, кроме того, отдельный график требуется для каждого аналита, например отдельно для глюкозы, отдельно для билирубина. Но данное ограничение легко преодолеть если принять значение TEa за 100%, а CV и Bias выразить в процентах от TEa. Тогда у нас получиться универсальный график для всех тестов, и значений TEa.

Практическое применение сигмаметрии

Допустим лаборатория совершила этот подвиг, и подсчитала показатели сигмаметрии для своих тестов (хотя бы для некоторых). Что это может дать в практическом плане кроме ощущения своего превосходства над конкурентами :)

Оказывается, в зависимости от показателя сигмаметрии для каждого теста можно изменить правила проведения статистического контроля качества.

Поясним это более детально. Например, всем в лаборатории известные правила Вестгарда, которые в их классическом варианте начинаются с проверки на выход контрольной точки за пределы Xср±2S, далее выход за 3S и т.д., в результате лаборатория решает являются ли результаты приемлемыми или требуются какие-либо корректирующие действия. Приведу тут на всякий случай эту схему:

правила Вестгарда
правила Вестгарда

Так вот данный подход к контролю качества учитывает только аналитические свойства системы и никак не связан с какими-либо реальными требованиями по точности измерения какого бы то ни было биологического показателя. То есть мы измеряем показатель с максимальной точностью, которую нам предоставляет наша аналитическая система и контролируем его точно так же, любой выход за пределы данной схемы считается нарушением и выходом системы из под контроля.

Но, как мы помним идеология шести сигм предполагает учитывание не только аналитических свойств системы, но и предельно допустимую ошибку показателя, а значит, для тестов, у которых показатели сигмаметрии достаточно высоки требования по контролю качества могут быть ослаблены, так как точность измерения, которую предполагает подход, использующий “классические” правила Вестгарда является избыточной.

У того же Вестгарда существует вариант правил, предполагающий использование сигмаметрии, называющийся Westgard Sigma Rules TM, которые, например, для проведения контроля по двум уровням графически выглядят так:

правила Вестгарда для 6 сигм
правила Вестгарда для 6 сигм

Как можно заметить из схемы если показатель сигмаметрии для вашего теста 6 и более сигм, то вам даже не обязательно придерживаться правила 12S, то есть вам просто достаточно следить чтобы контроль не выходил за пределы 3S и это уже является достаточным основанием считать, что система находится под контролем и спокойно выдавать результаты пациентам.

Кроме того, если ваши показатели сигмаметрии достаточно высоки, то можно уменьшить, как количество уровней контрольных материалов, так и частоту проведения внутрилабораторного контроля качества.

Но не стоит радоваться раньше времени. Как следует из той же схемы, если ваши показатели сигмаметрии не так хороши, как хотелось бы, то это влечет за собой ужесточение требований к проведению внутрилабораторного контроля.

Как видно на схеме, если вы работаете на уровне 3 - 4 сигмы, это уже предполагает использование практически всех правил, которые лаборатория должна применять без использования сигмаметрии. А дальнейшее уменьшение показателя сигмаметрии приводит к рекомендации использования количества уровней контрольных материалов больше 2 и проведения контроля качества чаще, чем один раз за одну аналитическую серию. То есть гораздо жестче чем без использования сигмаметрии.

Для тех, кто хочет копнуть глубже

(продвинутые темы, не обязательно к прочтению)

Если вы дочитали до этого момента, то вы уже должны иметь общее представление о применении концепции шести сигм в лабораторной диагностике и, вообще-то говоря, уже совершили достаточно серьезное интеллектуальное усилие. Но если вы хотите страдать еще больше понимать тему лучше, то добро пожаловать в следующую главу.

Что-то тут не так

Внимательный читатель мог заметить следующую странную вещь: допустим вы работаете с нулевым смещением (Bias = 0%), а ваш коэффициент вариации при этом равен межиндивидуальному коэффициенту вариации в популяции (CVa = CVg), при этом сделаем еще одно допущение и предположим, что предельно допустимая ошибка в шесть раз больше вашего CV, а следовательно и ровно в шесть раз больше межидивидуального CV тоже (TEa = 6CVa = 6CVg).

Тогда если посчитать показатель сигмаметрии, то окажется, что вы работаете ровно на уровне 6 сигм.

Sigma-metric = TEa-|Bias| CV = 6CVa-0 CVa = 6CVa CVa =6

Теперь давайте построим график распределения для такой ситуации.

распределение для 6 сигм
распределение для 6 сигм

Так вот, если все самостоятельно пересчитать, то получается, что в интервал допустимых значений (истинное значение ± TEa) попадает более 99.999% всех наших результатов. В то время, как за пределы TEa выпадает около 1.97×10−7% всех результатов. То есть если округлять до целого из одного миллиона результатов мы должны ожидать ноль результатов, выходящих за пределы допустимой ошибки измерения, а также напомню, что данный показатель называется количеством дефектов на миллион DPMO (defects per million opportunities).

То есть по нашим расчетам при показателе сигмаметрии равном шести DPMO должен равняться нулю.

Но как мы видим из таблиц по сигмаметрии, одна из которых приведена выше в этой статье DPMO на уровне 6 сигм считается равным 3.4

Как такое может быть!?

Так происходит, потому что на самом деле во все таблицы неявно заложено дополнительное смещение в 1.5 сигмы, поэтому даже если вы работаете в описанных выше условиях ваш график распределения на самом деле выглядит так:

распределение для 6 сигм со смещением
распределение для 6 сигм со смещением

Ваше среднее при этом искусственно сдвинуто на 1.5 сигмы относительно истинного значения.

Как принято говорить в таких случаях: так исторически сложилось.

Когда в свое время специалисты компании Motorola еще только начинали разрабатывать данный метод для бизнес-процессов ими было справедливо подмечено, что величина смещения не находится на постоянном уровне, а имеет тенденцию ухудшаться по целому ряду причин, учесть все из которых не представляется возможным. Поэтому в показатель сигмаметрии просто была включена дополнительная величина погрешности в 1.5 сигмы.

Соответственно, в приведенном выше примере вы будите работать не на уровне 6 сигм, который мы самостоятельно статистически рассчитали, а на фактическом уровне в 4.5 сигмы.

В некоторых источниках делают разделение на краткосрочную величину сигмаметрии (short term), это та, которую мы честно вычислили сами, и долгосрочную (long term), это та у которой еще полторы сигмы в нагрузку. Соответственно DPMO 4.5 краткосрочных показателей сигмаметри в точности равны DPMO при 6 долгосрочных.

Заключительный штрих

Ранее в статье уже шла речь, о том, что в зависимости от значения показателя сигмаметрии для каждого лабораторного теста могут быть изменены правила проведения внутрилабораторного контроля качества. Давайте немного подробнее остановимся из каких соображений это делается.

Начнем с самого простого. Основная цель внутрилабораторного контроля качества - оценка воспроизводимости. То есть проводя ежедневный контроль мы хотим удостовериться, что система работает так же, как и в предыдущих аналитических сериях. То есть в системе не образовалось никакого систематического сдвига, который будет влиять на наши результаты. Соответственно, если сдвиг появился, то мы должны это понять из результатов контроля. Но мы при этом используем статистические методы, а следовательно, как и все результаты в статистике обнаружение сдвига является не детерминированным, а вероятностным событием и вероятность зависит от величины самого сдвига. Чем он больше, тем больше вероятность, что мы его обнаружим.

Графически это можно представить следующим образом:

графики рапределения для разных правил контроля качества
графики рапределения для разных правил контроля качества

Как мы видим из графика мы имеем несколько функций распределения вероятности обнаружения сдвига в зависимости от того, какие правила принятия решений мы используем. Данные функции имеют, выражаясь лабораторным языком, разные значения чувствительности и специфичности при принятии решения. Выражаясь строго математически, эти функции имеют разные вероятности ошибок первого и второго рода при принятии решения о наличии или отсутствии систематического сдвига.

Например, используя самый жесткий критерий 12s (однократный выход контроля за пределы двух стандартных отклонений) мы имеем наиболее чувствительный к смещению метод, но он же и метод, который будет наиболее склонен к ложному срабатыванию. Как видно на графике он срабатывает практически в 10% случаев, когда никакого смещения нет вообще (для двух уровней контрольного материала). С другой стороны, если выбрать правило браковать серию только если контроль выйдет за пределы 3.5 стандартных отклонений это практически гарантированно убережет нас от ложных срабатываний, но смещение, если оно случиться, мы заметим только тогда, когда оно уже будет катастрофически велико.

Следовательно, нужно исходить из того, какая величина смещения будет предельно допустимой. Считается, что предельно допустимая систематическая ошибка (ΔSEcrit), которая должна быть обнаружена статистическими методами рассчитывается из уравнения:

ΔSEcrit = TEa-|Bias| SD -1.65

Поскольку

Sigma-metric = TEa-|Bias| SD

получаем

ΔSEcrit = Sigma-metric -1.65
Sigma-metric = ΔSEcrit +1.65

Отсюда следует, что ось абсцисс на графике может быть представлена в виде шкалы сигмаметрии со сдвигом на 1.65 (верхняя шкала на графике).

Как уже было сказано выше выбор конкретного набора статистических правил - это всегда баланс между как можно более высокой вероятностью обнаружения ошибки и наименьшей вероятностью ложного срабатывания.

Исходя из практических соображений набор правил выбирается так, чтобы вероятность обнаружения ошибки была около 90%, в то время как вероятность ложного срабатывания менее 5%.

То есть если представлять процесс упрощенно, то на графике откладывается вертикальная линия, соответствующая текущему показателю сигмаметрии, и ищутся кривые, пересекающие данную линию на уровне примерно 0.9, так же желательно, чтобы эти кривые пересекали ось ординат на значениях менее 0.05 и применяются правила соответствующие данным кривым.

Например, на следующем графике представлен вариант кривой, которая при работе на уровне сигмаметрии 4 дает вероятность обнаружения сдвига около 91% с вероятностью ложного срабатывания около 3%, и соответствует набору правил 13s/22s/R4s/41s

пример распределения для конкретного набора правил контроля качества
пример распределения для конкретного набора правил контроля качества

Кроме того, из приведенного выше уравнения мы опять-таки можем выразить смещение как функцию от стандартного отклонения при зафиксированных значениях TEa и ΔSEcrit.

ΔSEcrit = TEa-|Bias| SD -1.65
ΔSEcrit +1.65 = TEa-|Bias| SD
( ΔSEcrit +1.65 ) * SD = TEa-|Bias|
( ΔSEcrit +1.65 ) * SD - TEa = -|Bias|
Bias = TEa-(ΔSEcrit+1.65)*SD

Графическое изображение данной функции дает нам картину очень похожую на график выбора метода. Только теперь линии на графике соответствуют максимальным значениям смещения и коэффициента вариации для различных наборов правил статистического контроля качества. Такой график называется operating specifications chart (OPSpecs).

operating specifications chart (OPSpecs)
operating specifications chart (OPSpecs)

Для выбора конкретного набора правил на графике ставят точку, соответствующую смещению и вариации вашего метода. Правила, линии которых проходят выше точки подходят для вашего метода. Естественно, на практике, из экономических соображений, выбирают не любую линию, лежащую выше точки, а ближайшую к ней.

Для изображенного на графике гипотетического метода А с его характеристиками смещения и вариации должен быть выбран набор правил 13s/22s/R4s/41s

Как видно из графика, чем дальше метод находится от начала координат, то есть чем больше смещение и вариация, тем более жесткие правила должны к нему применяться.


25.10.2022