Modelos de IA erram em raios X e demonstram confiança indevida

Modelos de inteligência artificial usados para interpretar exames de imagem ainda enfrentam um problema central de segurança: podem produzir uma conclusão errada sem sinalizar adequadamente a própria incerteza. Segundo informações reunidas pelo The Decoder sobre o benchmark RadLE 2.0, diversos sistemas apresentaram achados incorretos com elevado grau de confiança, enquanto radiologistas humanos tiveram desempenho superior na identificação dos casos em que era melhor não concluir sozinhos.

A questão vai além de medir se um algoritmo acerta mais ou menos diagnósticos. Em um ambiente clínico, também é fundamental saber quando uma imagem é ambígua, quando faltam informações relevantes ou quando o caso exige uma segunda avaliação. Um modelo que reconhece suas limitações pode ser mais útil e seguro do que outro que produz respostas aparentemente precisas para todos os exames.

O que o RadLE 2.0 procura medir

O benchmark foi concebido para avaliar justamente essa capacidade de encaminhamento. Em vez de tratar a radiologia como uma tarefa em que sempre existe uma resposta automática, a avaliação testa se o sistema consegue diferenciar situações adequadas para assistência algorítmica daquelas que deveriam permanecer sob responsabilidade de um especialista humano.

Essa distinção é particularmente importante porque exames radiológicos não são interpretados em isolamento. O diagnóstico normalmente depende dos sintomas, do histórico do paciente, de exames anteriores, da qualidade da imagem e do contexto clínico. Mesmo quando um modelo identifica padrões visuais relevantes, isso não significa necessariamente que compreendeu o quadro completo ou que possa determinar a conduta médica.

Confiança alta não significa precisão

O principal alerta associado aos resultados é a diferença entre confiança estatística e confiabilidade clínica. Um sistema pode atribuir alta probabilidade a uma hipótese e ainda assim estar errado. Quando essa segurança aparente não acompanha um mecanismo consistente de abstinência ou encaminhamento, o erro se torna mais difícil de perceber e corrigir.

Na prática, uma resposta equivocada pode influenciar a triagem, atrasar exames complementares ou direcionar a atenção do profissional para uma hipótese incorreta. O risco não está apenas em deixar de detectar uma alteração, mas também em sugerir um achado que não existe. Em ambos os casos, a automação pode criar uma falsa sensação de objetividade.

• Reconhecer exames com baixa qualidade ou informação insuficiente.
• Sinalizar conflitos entre possíveis interpretações.
• Encaminhar casos incomuns ou ambíguos para revisão humana.
• Apresentar evidências e limitações em vez de apenas uma conclusão final.

A comparação com radiologistas é relevante porque especialistas também não são infalíveis, mas podem combinar a imagem com o contexto do paciente e avaliar quando a evidência não é suficiente. Essa capacidade de julgamento — incluindo a decisão de pedir ajuda ou adiar uma conclusão — continua sendo uma vantagem importante sobre sistemas que tendem a responder mesmo diante de incerteza.

Implicações para hospitais e desenvolvedores

Os achados reforçam que a adoção de IA em radiologia deve priorizar fluxos de trabalho supervisionados. Uma ferramenta pode apoiar a priorização de exames, destacar regiões suspeitas ou oferecer uma segunda leitura, mas sua implementação precisa incluir revisão profissional, registro de erros, monitoramento de desempenho e procedimentos claros para contestar a recomendação automática.

Para os desenvolvedores, o desafio é criar modelos treinados e avaliados não apenas pela taxa de acerto. Também será necessário medir calibração, capacidade de abstinência, desempenho em populações diferentes e comportamento diante de imagens fora do padrão observado no treinamento. Um sistema aparentemente forte em um conjunto de dados pode falhar quando aplicado a equipamentos, protocolos ou perfis de pacientes distintos.

Os resultados também têm implicações regulatórias. Autoridades e instituições de saúde precisarão definir que tipo de evidência é suficiente para autorizar uma ferramenta, como acompanhar mudanças de desempenho após atualizações e quem responde por decisões influenciadas pelo modelo. A existência de um benchmark é útil, mas não substitui validação clínica prospectiva nem supervisão contínua.

Ainda não estão confirmados, com base no material fornecido, todos os modelos avaliados, o tamanho exato da amostra, os tipos de raios X incluídos, os critérios estatísticos usados e a diferença numérica de desempenho entre humanos e máquinas. Também não é possível concluir, apenas a partir desse relato, que toda IA radiológica tenha o mesmo comportamento ou que nenhuma ferramenta possa ser útil em cenários específicos.

O próximo passo é transformar a capacidade de dizer “não sei” em um requisito mensurável de segurança. Antes que sistemas de IA assumam funções diagnósticas mais autônomas, eles precisam demonstrar não só que encontram padrões, mas que reconhecem situações em que uma conclusão automática seria imprudente. No estado atual descrito pelo RadLE 2.0, a supervisão humana continua sendo parte indispensável do processo.

Fonte: The Decoder