Estimación de acuerdo clínico para una prueba Cualitativa
HERRAMIENTAS
Estimación de acuerdo clínico para una prueba Cualitativa: una calculadora web para tabla de contingencia 2x2
Traducido de la página de Westgard QC. Autorizado por Sten Westgard
¿Cómo se valida una prueba cualitativa? Aquí hay una introducción a una pequeña herramienta que puede ser útil para la validación de análisis de virus.
Estimación de acuerdo clínico para una prueba cualitativa: una calculadora web para tabla de contingencia 2x2
James O.Westgard, Patricia E. Garrett, Paul Schilling
Abril 2020
En medio de esta pandemia de Covid-19, podría ser útil proporcionar a los laboratorios médicos algún apoyo para la validación de las pruebas cualitativas. Los laboratorios más grandes que realizan pruebas de rRNA-PCR para el virus y pruebas de serología para anticuerpos contra el SARS-CoV-2 probablemente tengan acceso a programas estadísticos que siguen las recomendaciones de la FDA y CLSI para la validación del método. Es menos probable que los laboratorios más pequeños tengan esos programas, pero aún tendrán que realizar algunos estudios mínimos de validación o verificación a medida que estén disponibles métodos más simples o más automatizados.
Para ser claros, hay dos pruebas nuevas: (1) pruebas para el virus SARS-CoV-2 en sí, y (2) pruebas para anticuerpos contra el virus. Cada uno de estos marcadores está siendo analizado por múltiples métodos que están siendo aprobados a un ritmo rápido por la FDA bajo la Autorización de Uso de Emergencia (EUA). Los métodos para el virus se basan principalmente, pero no todos, en la PCR, y los métodos para los anticuerpos esencialmente caen en la categoría de pruebas de serología. La PCR y otros métodos de ácidos nucleicos o moleculares generalmente se realizan en una sección del laboratorio, de acuerdo con el lugar donde los instrumentos para esas tecnologías ya están establecidos. Las pruebas de serología generalmente se realizan en otra sección del laboratorio. Con la introducción de pruebas simples de flujo lateral (Test Pack o Pruebas Rápidas), las pruebas también se realizarán en situaciones de Punto de Atención (POC). Todas estas pruebas son pruebas cualitativas, lo que significa que tienen un punto de decisión médica (límite) para clasificar el resultado como positivo o negativo.
Los laboratorios aprobados por CLIA para realizar pruebas de complejidad moderada y alta tienen permitido implementar pruebas de fabricantes que han sido aprobadas bajo la Autorización de uso de emergencia (EUA). A pesar de esto, estudios de validación aún deben realizarse, además de muestras de control de calidad positivas y negativas, muestras de pacientes deben analizarse con cada análisis [1].
Estudio de acuerdo clínico
Para la validación, la FDA recomienda un "estudio de acuerdo clínico", así como estudios de límite de detección (LoD) y reactividad cruzada. Aquí nos centramos en el acuerdo clínico, que generalmente implica comparar los resultados de dos métodos diferentes. La FDA declara que se pueden usar "muestras clínicas artificiales", lo que significa que es aceptable agregar muestras con un material de control de concentración alta (preferiblemente inactivo). La recomendación de la FDA es utilizar 30 muestras reactivas (20 de baja reactividad a 1 o 2 veces la LoD y 10 más altas que abarcan el rango de la prueba) y 30 muestras no reactivas. La FDA también exige que los primeros 5 resultados positivos y primeros 5 pacientes reales negativos sean confirmados por un método EUA previamente autorizado.
En el documento CLSI EP12-A2 [2] se proporciona orientación para comparar un nuevo método de prueba "candidato" con un método de prueba "comparativo" disponible. Esperamos que la mayoría de los laboratorios tengan acceso a muestras de prueba que ya hayan sido analizadas por otro laboratorio en su región, tal vez un laboratorio de referencia que sea utilizado por su red de hospitales o un laboratorio de pruebas de alta complejidad más grande que se use para envíos. Alternativamente, un laboratorio puede analizar muestras de pacientes infectados documentados y muestras de pacientes no infectados.
Análisis de datos por tabla de contingencia 2x2
Dado un estudio de comparación donde el candidato y los resultados de la prueba comparativa se clasifican como positivos o negativos, esos resultados se pueden resumir de la siguiente manera:
a = Número de resultados donde ambas pruebas son positivas;
b = Número de resultados donde el método candidato es positivo, pero el comparativo es negativo;
c = Número de resultados donde el método candidato es negativo, pero el comparativo es positivo;
d = Número de resultados donde ambos métodos son negativos.
Estos resultados se pueden resumir en una tabla de contingencia 2x2, que a veces se denomina "tabla de verdad"
Cálculo de características de rendimiento
Esta tabulación proporciona la base para calcular el porcentaje de acuerdo positivo (PAP, PPA en ingles), el porcentaje de acuerdo negativo (PAN, PNA en ingles) y el porcentaje de acuerdo general (PAG, POA en ingles), de la siguiente manera:
PAP = [a / (a + c)] * 100
PAN = [d / b + d))] * 100
PAG = [(a + d) / n] * 100
Idealmente, el PAP y el PAN deberían ser del 100%, lo que ocurriría si las cifras de b y c fueran cero. Los valores más bajos representan un rendimiento menos ideal, por lo tanto, estas estimaciones para PAP y PAN pueden ser útiles para juzgar la aceptabilidad de un método candidato. PAG es menos útil porque puede ser alto incluso cuando PAP o PAN pueden ser bajos. [Nota: si el método comparativo fuera un "estándar de oro" para la clasificación diagnóstica, entonces el PAP se consideraría la "sensibilidad diagnóstica", el PAN sería la "especificidad diagnóstica" del método candidato, y el PAG a veces se denomina "eficiencia".]
Para interpretar estas características calculadas, debería ser útil conocer sus intervalos de confianza aproximados, es decir, la confiabilidad de estos números. Consulte el apéndice para ver cómo se calculan estos límites de confianza.
Para el ejemplo que se muestra aquí [que está tomado de EP12-A2, páginas 30-31], el PAP se estima en 95.3% y es confiable entre 92.3% y 97.2%. La PAN se estima en 93.7% y es confiable entre 89.8% y 96.1%. Si bien hemos calculado el PAG como 94.6% con un intervalo de confianza aproximado del 95% de 92.3% y 96.2%, esta característica no es tan útil y no es necesario considerarla al juzgar la aceptabilidad.
Tenga en cuenta que para un número bajo de muestras, se espera que los límites de confianza sean amplios. Por ejemplo, para 5 positivos y 5 negativos, sin falsos positivos o falsos negativos, los límites inferiores serán del 57%; para 10 positivos y 10 negativos, los límites inferiores son aproximadamente 72%; para 30, alrededor del 89%; para 40, alrededor del 91%; para 50, alrededor del 93%. Todos estos límites son para comparaciones que son una combinación perfecta. Cuanto menor sea el número de muestras analizadas, mayor será la caída de la confianza con incluso una falta de coincidencia (falso positivo o falso negativo). [Consulte la Tabla A1 en EP12-A2, página 35.] Esto ilustra la razón por la cual la FDA recomienda acumular un mínimo de 30 resultados positivos y 30 negativos para lograr estimaciones mínimamente confiables.
Calculadora de contingencia Westgard QC 2x2
Esta calculadora requiere que el usuario ingrese 4 números correspondientes a: a (verdaderos positivos), b (falsos positivos), c (falsos negativos) y d (verdaderos negativos) en la tabla de contingencia. Luego haga clic en el botón "Calcular" para obtener las estadísticas resumidas de Acuerdo positivo (PAP), Acuerdo negativo (PAN) y Acuerdo general (PAG), junto con sus límites de confianza superiores e inferiores del 95%. Para ver el ejemplo discutido en esta lección, haga clic en "Cargar datos de ejemplo". Imprima la página para proporcionar documentación de sus resultados.
Referencias
1.- Departamento de Salud y Servicios Humanos de los EE. UU. Política de la FDA para pruebas de diagnóstico de la enfermedad por coronavirus-2019 durante emergencias de salud pública: guía de vigencia inmediata para laboratorios clínicos, fabricantes comerciales y personal de la Administración de Alimentos y Medicamentos. 16 de marzo de 2020. https://www.fda.gov/media/135010/download
2.- Garrett PE, Lasky FD, Meier KL. CLSI EP12-A2. Protocolo de usuario para la evaluación del rendimiento de la prueba cualitativa. Instituto de Normas Clínicas y de Laboratorio, 940 West Valley Road, Suite 1400, Wayne, PA, 2008.
Sobre Patricia E. Garrett, Ph.D.
Pat Garrett obtuvo un Ph.D. en química orgánica en 1970, y en 1978, después de cinco posdoctorados, comenzó su carrera en el laboratorio clínico dirigiendo laboratorios en hospitales del área de Boston. En 1988, comenzó a trabajar en control de calidad y estándares para el diagnóstico de enfermedades infecciosas para una pequeña empresa, y ayudó a esa compañía a crecer a través de 24 años y dos adquisiciones. Desde 2013 hasta ahora, ha trabajado como consultora y como investigadora principal para una subvención de NIH en manos de otra pequeña empresa de Boston. Su pasión es ayudar a los laboratorios clínicos y a los fabricantes de diagnósticos a "acertar".
Appendix: Calculation of Confidence Limits
Estos cálculos no son difíciles, pero un poco desordenados. Se describen en dos etapas, primero calculando algunas cantidades (Qi) de la tabla, luego calculando los límites de confianza superior e inferior de estas Qs. [Descrito en las páginas 23-25 de CLSI EP12-A2.]
Cálculos para límites de confianza para PAP
Q1 = 2a + 3.84
Q2 = 1.96 * [3.84 + 4a * c / (a + c)] 1/2
Q3 = 2 (a + c) + 7.68
PAP limite bajo = 100 * (Q1-Q2) / Q3
PPA límite alto = 100 * (Q1 + Q2) / Q3
A continuación, cálculos similares para PAN.
Q4 = 2d + 3.84
Q5 = 1.96 * [3.84 + 4bd / (b + d)] 1/2
Q6 = 2 (b + d) + 7.68
PAN limite bajo = 100 * (Q4-Q5) / Q6
PAN límite alto = 100 * (Q4 + Q5) / Q6
Finalmente, cálculos similares para PAG.
Q7 = 2 (a + d) + 3.84
Q8 = 1.96 * [3.84 + 4 (a + d) (b + c) / n] 1/2
Q9 = 2n + 7.68
PAG limite bajo = 100 * (Q7-Q8) / Q9
PAG límite alto = 100 * (Q7 + Q8) / Q9