Características clave de rendimiento

El dispositivo realiza una amplia gama de tareas, para las cuales se aplican diferentes métricas de rendimiento en términos de precisión, tasas de error y la capacidad de identificar y segmentar correctamente características relevantes en imágenes.

Investigación publicada

Una revisión detallada de algunas métricas de rendimiento se puede encontrar en nuestra investigación publicada, que se enumera a continuación:

• Automatic SCOring of Atopic Dermatitis Using Deep Learning: A Pilot Study.
• Dermatology Image Quality Assessment (DIQA): Artificial intelligence to ensure the clinical utility of images for remote consultations and clinical trials.
• Automatic International Hidradenitis Suppurativa Severity Score System (AIHS4): A novel tool to assess the severity of hidradenitis suppurativa using artificial intelligence.
• Automatic Urticaria Activity Score (AUAS): Deep Learning-based Automatic Hive Counting for Urticaria Severity Assessment.

Estas publicaciones explican con gran detalle y transparencia el rendimiento del dispositivo.

Métricas clave de rendimiento

Reconocimiento de clases ICD

Aquí están las métricas para cada signo clínico visible y el reconocimiento de clases ICD visibles:

• Reconocimiento de clases ICD visibles
  • Precisión Top-1: 74.07%
  • Precisión Top-3: 86.76%
  • Precisión Top-5: 90.20%
• Malignidad
  • AUC: 0.96
• Presencia de una condición dermatológica
  • AUC: 0.99
• Complejidad crítica
  • AUC: 0.94
• Intensidad de eritema
  • RMAE: 13.30%
• Intensidad de edema
  • RMAE: 16.0%
• Intensidad de exudación
  • RMAE: 19.40%
• Intensidad de excoriación
  • RMAE: 9.60%
• Intensidad de liquenificación
  • RMAE: 8.70%
• Intensidad de sequedad
  • RMAE: 11.30%
• Intensidad de induración
  • RMAE: 9.20%
• Intensidad de descamación
  • RMAE: 10.45%
• Intensidad de pustulación
  • RMAE: 15.00%
• Intensidad de exudación
  • BAC: 64.00%
• Intensidad de bordes
  • BAC: 74.00%
• Intensidad de tejidos afectados
  • BAC: 69.00%
• Recuento de lesiones inflamatorias
  • Precisión: 86.60%
  • Recall: 79.70%
• Recuento de habones
  • Precisión: 68.40%
  • Recall: 57.10%
• Recuento de nódulos
  • MAE: 2.16
• Recuento de abscesos
  • MAE: 2.16
• Recuento de túneles de drenaje
  • MAE: 2.16

Otros procesadores

Las métricas para procesadores adicionales que realiza el dispositivo son las siguientes:

• Detección de modalidad de imagen
  • AUC: 0.9957
• Detección de estructura cutánea
  • AUC: 0.9957
• Evaluación de calidad de imagen
  • Correlación lineal: 0.74

Estudios de validación clínica

Además, hemos llevado a cabo más investigaciones clínicas y estamos trabajando para publicar también esos resultados, mientras damos los pasos necesarios junto a los investigadores y hospitales involucrados. En la siguiente lista, divulgamos algunos resultados de los estudios que realizamos:

• LEGIT_MC_EVCDAO_2019: El dispositivo ha demostrado un excelente rendimiento en términos de predicción de malignidad, lo que lo convierte en una herramienta valiosa para priorizar a los pacientes según su riesgo de presentar malignidad. La métrica AUC para la predicción de malignidad fue del 87.28% (y 88.26% en la extensión), lo que es comparable a la de los HCP expertos y habla del potencial de usar el dispositivo para mejorar los flujos de trabajo clínicos. Con respecto al reconocimiento de lesiones cutáneas en términos generales, la precisión Top-5 fue del 88.83% (y 83.16% en la extensión), lo que respalda el uso previsto del dispositivo como una herramienta de apoyo a la decisión clínica. Y específicamente en melanoma, la métrica AUC fue del 76.75% (y 82.38% en la extensión), lo que es considerablemente alto y significa la consecución de los objetivos planteados en las hipótesis del estudio. Este estudio se realizó en 96 sujetos de dos hospitales (Hospital Universitario Cruces y Hospital Universitario Basurto) desde 2020, en colaboración con dos dermatólogos senior. Las enfermedades de la piel estudiadas fueron diferentes tipos de nevos, lesiones vasculares, neoplasias cutáneas (benignas y malignas) y queratosis.
• LEGIT_COVIDX_EVCDAO_2022:. El análisis exhaustivo del CUS, el cuestionario de utilidad de datos, el SUS y el cuestionario de satisfacción del paciente ha proporcionado información valiosa sobre la efectividad de la herramienta en el apoyo a los dermatólogos en su práctica clínica. La media de 76.67 en el CUS sugiere que el dispositivo ha sido bien recibido por los especialistas participantes. Es notable el acuerdo unánime sobre la facilidad de uso y la alta calificación para optimizar el tiempo según las necesidades de cada paciente. Además, el dispositivo demostró eficiencia en la generación de informes, recibiendo altas calificaciones por parte de los especialistas. Estos resultados afirman el potencial del dispositivo para agilizar los flujos de trabajo clínicos y mejorar la atención al paciente. Este estudio se realizó con una cohorte de 160 pacientes del Departamento de Dermatología del Hospital Universitario de Torrejón, e incluye diferentes tipos de queratosis, lesiones pigmentadas (benignas y malignas) y lesiones inflamatorias.
• LEGIT.HEALTH_DAO_Derivación_O_2022: Este estudio revela que aproximadamente el 29% de las derivaciones involucran condiciones comunes y fácilmente diagnosticables, incluso aquellas de teledermatología. Alrededor de la mitad de ellas están relacionadas con queratosis seborreica. Los médicos de atención primaria muestran una sensibilidad notablemente baja de aproximadamente el 25% cuando se trata de la tarea crucial de decidir si derivar o no a un paciente a atención secundaria, particularmente a dermatólogos. En términos de lista de espera, el análisis supone que los pacientes podrían haber recibido tratamiento antes, y los retrasos en las citas fueron resultado de la lista de espera del hospital. Hasta la fecha, se han reclutado 51 sujetos para este estudio, que eventualmente aumentará hasta 400. Las enfermedades de la piel observadas en la cohorte actual incluyen diferentes tipos de queratosis, nevos, lesiones pigmentadas (tanto benignas como malignas) y eccemas.

Índices de rendimiento

La siguiente sección contiene una lista no exhaustiva de índices de rendimiento utilizados para medir el rendimiento del dispositivo:

1. Precisión Top-5: Mide la frecuencia con la que la clase correcta aparece dentro de las 5 principales predicciones del dispositivo.
2. AUC (Área Bajo la Curva): Indica la capacidad del dispositivo para diferenciar entre categorías.
3. MAE (Error Absoluto Medio): La diferencia absoluta media entre los niveles de gravedad predichos y reales.
4. RMAE (Raíz del Error Absoluto Medio): La raíz cuadrada del MAE, mostrando la magnitud del error en unidades de gravedad.
5. Precisión: Proporción de clases positivas correctas entre todas las identificaciones positivas realizadas por el dispositivo.
6. Exactitud: Tasa general de identificación correcta tanto para clases positivas como negativas.
7. Sensibilidad: Proficiencia del dispositivo en identificar con precisión los casos positivos.
8. IoU (Intersección sobre Unión): Utilizado en segmentación de imágenes; mide la superposición entre la predicción y la segmentación real.
9. Kappa de Cohen: Evalúa el acuerdo entre los diagnósticos predichos y reales, ajustando por el azar.
10. Recall: Capacidad del dispositivo para identificar todos los casos relevantes de una clase específica.
11. BAC (Precisión Balanceada): Promedio de las proporciones de identificación de verdaderos positivos y verdaderos negativos.
12. Correlación: Fuerza y dirección de la relación entre las puntuaciones de gravedad predichas y reales.
13. TPR (Tasa de Verdaderos Positivos): Tasa a la que el dispositivo identifica correctamente los casos verdaderos positivos.
14. Precisión a 1 día: Evalúa la precisión de las predicciones para el día siguiente.
15. Precisión a 7 días: Mide la precisión de las predicciones para un período de siete días.

Tenga en cuenta que el dispositivo realiza tareas muy diferentes. Por ejemplo, en la tarea de Aseguramiento de Calidad de Imagen, las métricas relevantes son correlación de Pearson, correlación de Spearman y precisión balanceada. Sin embargo, en la cuantificación, conteo y medida de la extensión de los signos clínicos, las métricas relevantes pueden ser AUC, RMAE e IoU, entre otras, dependiendo de los signos clínicos. Esto se explica en las publicaciones enumeradas anteriormente.

Por lo tanto, es poco práctico y no útil intentar proporcionar una lista exhaustiva de todas las métricas de rendimiento para cada procesador. En cambio, le aconsejamos que revise nuestras publicaciones mencionadas anteriormente, que explican con gran detalle y transparencia el rendimiento.