Pular para o conteúdo principal
Este conteúdo se aplica a versão do dispositivo: 1.1.0.0

Principais características de desempenho

O dispositivo realiza uma ampla gama de tarefas, para as quais diferentes métricas de desempenho são aplicáveis em termos de precisão, taxas de erro e capacidade de identificar e segmentar corretamente características relevantes em imagens.

Pesquisa publicada​

Uma revisão detalhada de algumas métricas de desempenho pode ser encontrada em nossas pesquisas publicadas, listadas abaixo:

Essas publicações explicam em alto detalhe e transparência o desempenho do dispositivo.

Principais métricas de desempenho​

Reconhecimento de classes ICD​

Aqui estão as métricas para cada sinal clínico visível e reconhecimento de classes ICD visíveis:

  • Reconhecimento de classes ICD visíveis
    • Precisão Top-1: 74,07%
    • Precisão Top-3: 86,76%
    • Precisão Top-5: 90,20%
  • Malignidade
    • AUC: 0,96
  • Presença de uma condição dermatológica
    • AUC: 0,99
  • Complexidade crítica
    • AUC: 0,94
  • Intensidade de eritema
    • RMAE: 13,30%
  • Intensidade de edema
    • RMAE: 16,0%
  • Intensidade de exsudação
    • RMAE: 19,40%
  • Intensidade de escoriação
    • RMAE: 9,60%
  • Intensidade de liquenificação
    • RMAE: 8,70%
  • Intensidade de secura
    • RMAE: 11,30%
  • Intensidade de induração
    • RMAE: 9,20%
  • Intensidade de descamação
    • RMAE: 10,45%
  • Intensidade de pustulação
    • RMAE: 15,00%
  • Intensidade de exudação
    • BAC: 64,00%
  • Intensidade de bordas
    • BAC: 74,00%
  • Intensidade de tecidos afetados
    • BAC: 69,00%
  • Contagem de lesões inflamatórias
    • Precisão: 86,60%
    • Revocação: 79,70%
  • Contagem de colmeias
    • Precisão: 68,40%
    • Revocação: 57,10%
  • Contagem de nódulos
    • MAE: 2,16
  • Contagem de abscessos
    • MAE: 2,16
  • Contagem de túneis de drenagem
    • MAE: 2,16

Outros processadores​

As métricas para processadores adicionais que o dispositivo realiza são as seguintes:

  • Detecção de modalidade de imagem
    • AUC: 0,9957
  • Detecção de estrutura da pele
    • AUC: 0,9957
  • Avaliação da qualidade da imagem
    • Correlação linear: 0,74

Estudos de validação clínica​

Além disso, realizamos mais investigações clínicas e estamos trabalhando para publicar esses resultados, enquanto damos os passos necessários ao lado dos investigadores e hospitais envolvidos. Na lista a seguir, divulgamos alguns resultados dos estudos que realizamos:

  • LEGIT_MC_EVCDAO_2019: O dispositivo demonstrou uma excelente desempenho em termos de previsão de malignidade, o que o torna uma ferramenta valiosa para priorizar pacientes de acordo com seu risco de apresentar malignidade. A métrica AUC para a previsão de malignidade foi de 87,28% (e 88,26% na extensão), que é comparável à de especialistas em saúde e fala sobre o potencial de uso do dispositivo para melhorar fluxos de trabalho clínicos. Em relação ao reconhecimento de lesões cutâneas em termos gerais, a precisão Top-5 foi de 88,83% (e 83,16% na extensão), o que apoia o uso pretendido do dispositivo como uma ferramenta de suporte à decisão clínica. E especificamente em melanoma, a métrica AUC foi de 76,75% (e 82,38% na extensão), o que é consideravelmente alto e significa a consecução dos objetivos estabelecidos nas hipóteses do estudo. Este estudo foi conduzido com 96 sujeitos de dois hospitais (Hospital Universitário Cruces e Hospital Universitário Basurto) desde 2020, em colaboração com dois dermatologistas seniores. As doenças de pele estudadas foram diferentes tipos de nevos, lesões vasculares, neoplasias cutâneas (benignas e malignas) e ceratoses.
  • LEGIT_COVIDX_EVCDAO_2022:. A análise abrangente do CUS, questionário de utilidade dos dados, SUS e questionário de satisfação do paciente forneceu insights valiosos sobre a eficácia da ferramenta em apoiar dermatologistas em sua prática clínica. A média de 76,67 no CUS sugere que o dispositivo foi bem recebido pelos especialistas participantes. É notável o consenso unânime sobre a facilidade de uso e a alta avaliação para otimização do tempo de acordo com as necessidades de cada paciente. Além disso, o dispositivo demonstrou eficiência na geração de relatórios, recebendo altas avaliações dos especialistas. Esses resultados afirmam o potencial do dispositivo para agilizar fluxos de trabalho clínicos e melhorar o atendimento ao paciente. Este estudo foi conduzido com uma coorte de 160 pacientes do Departamento de Dermatologia do Hospital Universitário de Torrejón, e inclui diferentes tipos de ceratoses, lesões pigmentadas (benignas e malignas) e lesões inflamatórias.
  • LEGIT.HEALTH_DAO_Derivação_O_2022: Este estudo revela que aproximadamente 29% das referências envolvem condições comuns e facilmente diagnosticáveis, mesmo aquelas da teledermatologia. Cerca da metade delas está relacionada à ceratose seborréica. Os médicos de atenção primária apresentam uma sensibilidade notavelmente baixa de aproximadamente 25% quando se trata da tarefa crucial de decidir se um paciente deve ser encaminhado para o atendimento secundário, particularmente para dermatologistas. Em termos de lista de espera, a análise supõe que os pacientes poderiam ter recebido tratamento mais cedo, e os atrasos nas consultas foram resultado da lista de espera do hospital. Até hoje, 51 sujeitos foram recrutados para este estudo, que eventualmente aumentará para 400. As doenças de pele observadas na coorte atual incluem diferentes tipos de ceratoses, nevos, lesões pigmentadas (tanto benignas quanto malignas) e eczemas.

Índices de desempenho​

A seção a seguir contém uma lista não exaustiva de índices de desempenho usados para medir o desempenho do dispositivo:

  1. Precisão Top-5: Mede a frequência da classe correta aparecendo entre as 5 principais previsões do dispositivo.
  2. AUC (Área Sob a Curva): Indica a capacidade do dispositivo de diferenciar entre categorias.
  3. MAE (Erro Absoluto Médio): A média das diferenças absolutas entre os níveis de gravidade previstos e reais.
  4. RMAE (Raiz do Erro Absoluto Médio): A raiz quadrada do MAE, mostrando a magnitude do erro em unidades de gravidade.
  5. Precisão: Proporção de classes positivas corretas entre todas as identificações positivas pelo dispositivo.
  6. Acurácia: Taxa geral de identificação correta para classes positivas e negativas.
  7. Sensibilidade: Proficiência do dispositivo em identificar casos positivos com precisão.
  8. IoU (Interseção sobre União): Usado na segmentação de imagens; mede a sobreposição entre a previsão e a segmentação real.
  9. Kappa de Cohen: Avalia o acordo entre os diagnósticos previstos e reais, ajustando-se para o acaso.
  10. Revocação: Capacidade do dispositivo de identificar todos os casos relevantes de uma classe específica.
  11. BAC (Acurácia Balanceada): Média das proporções de identificação de verdadeiros positivos e verdadeiros negativos.
  12. Correlação: Força e direção da relação entre as pontuações de gravidade previstas e reais.
  13. TPR (Taxa de Verdadeiros Positivos): Taxa na qual o dispositivo identifica corretamente os verdadeiros casos positivos.
  14. Acurácia 1 Dia à Frente: Avalia a precisão das previsões para o dia seguinte.
  15. Acurácia 7 Dias à Frente: Mede a precisão da previsão para um período de sete dias.

Tenha em mente que o dispositivo realiza tarefas muito diferentes. Por exemplo, na tarefa de Garantia da Qualidade da Imagem, as métricas relevantes são Correlação de Pearson, Correlação de Spearman e Acurácia Balanceada. No entanto, na quantificação, contagem e medida da extensão dos sinais clínicos, as métricas relevantes podem ser AUC, RMAE e IoU, entre outras, dependendo dos sinais clínicos. Isso é explicado nas publicações mencionadas acima.

Assim, é impraticável e não útil tentar fornecer uma lista exaustiva de todas as métricas de desempenho para cada processador. Em vez disso, aconselhamos você a revisar nossas publicações mencionadas anteriormente, que explicam em alto detalhe e transparência o desempenho.