Hospitais usam IA: quem fiscaliza a evolução?

Inteligência artificial em hospitais levanta questões sobre vigilância e controle.

A rápida adoção de sistemas de inteligência artificial (IA) em ambientes hospitalares, embora promissora para otimizar diagnósticos e tratamentos, suscita preocupações significativas sobre a falta de supervisão e a possibilidade de desvios em seu funcionamento. Uma análise publicada pela STAT News, intitulada "Opinion: STAT+: Hospitals’ AI may be drifting. Who’s watching?", levanta um alerta sobre a necessidade urgente de mecanismos de controle e fiscalização para garantir que essas tecnologias continuem a operar de forma segura e eficaz. A questão central é: quem está monitorando a evolução e a precisão dessas ferramentas de IA à medida que elas se integram cada vez mais ao cotidiano da saúde?

O cenário atual aponta para uma expansão acelerada do uso de IA em diversas frentes da medicina. Desde a análise de imagens radiológicas até a previsão de surtos de doenças e a personalização de planos de tratamento, a IA oferece um potencial transformador. No entanto, a própria natureza adaptativa dessas tecnologias, projetadas para aprender e evoluir com base em novos dados, pode levar a um "desvio" de suas funções originais ou de sua precisão inicial. Sem uma vigilância constante e rigorosa, existe o risco de que os algoritmos comecem a apresentar vieses indesejados, a gerar diagnósticos incorretos ou a tomar decisões clínicas que não estejam alinhadas com os melhores interesses dos pacientes.

A matéria da STAT News sugere que a velocidade com que a IA está sendo implementada nos hospitais pode ter superado a capacidade de desenvolvimento de estruturas de governança e regulamentação adequadas. A falta de padrões claros e de órgãos fiscalizadores dedicados a essa área específica deixa um vácuo perigoso. Enquanto a inovação avança a passos largos, a infraestrutura de segurança e controle parece caminhar em ritmo mais lento. Isso cria um ambiente onde a confiança na tecnologia pode ser abalada por incidentes isolados, mas potencialmente graves, que poderiam ter sido evitados com uma supervisão mais proativa.

Um ponto crucial levantado pela discussão é a complexidade inerente à auditoria de sistemas de IA. Diferentemente de softwares tradicionais, cujas lógicas de funcionamento são mais transparentes, muitos algoritmos de IA, especialmente os baseados em aprendizado profundo, operam como "caixas pretas". Entender exatamente como uma decisão foi tomada por um sistema de IA pode ser um desafio técnico considerável, o que dificulta a identificação de erros ou vieses. Essa opacidade exige o desenvolvimento de novas metodologias de auditoria e a formação de profissionais capacitados para realizar essa tarefa.

Adicionalmente, o contexto web complementar aponta para uma fragilidade no financiamento de pesquisas voltadas para a qualidade e segurança em saúde. A notícia sobre o cancelamento de US$ 109 milhões em subsídios por uma agência federal de qualidade em saúde (AHRQ) revela um possível desinvestimento em áreas críticas que poderiam justamente subsidiar a pesquisa e o desenvolvimento de protocolos para a supervisão de tecnologias como a IA. Essa redução de recursos pode impactar diretamente a capacidade de instituições de pesquisa e universidades de investigar os riscos e benefícios da IA na saúde, bem como de propor soluções regulatórias e técnicas para mitigar esses riscos.

A falta de financiamento para pesquisas em qualidade e segurança na saúde pode ter um efeito cascata, retardando o desenvolvimento de diretrizes e ferramentas necessárias para monitorar a IA hospitalar. Sem o suporte financeiro adequado, a investigação sobre como garantir a equidade, a transparência e a responsabilidade dos sistemas de IA pode ser comprometida. Isso deixa os hospitais e os pacientes em uma posição mais vulnerável, dependendo de tecnologias cujos mecanismos de controle ainda estão em fase embrionária ou que carecem de validação independente.

Em suma, a integração da inteligência artificial na prática hospitalar representa um avanço significativo, mas a ausência de um sistema robusto de vigilância e controle é um ponto de atenção que não pode ser ignorado. A comunidade médica, os órgãos reguladores e os desenvolvedores de tecnologia precisam colaborar para estabelecer protocolos claros, mecanismos de auditoria eficazes e garantir que o financiamento para pesquisas em qualidade e segurança na saúde seja mantido e ampliado. Somente assim será possível assegurar que a IA em hospitais continue a ser uma força para o bem, sem comprometer a segurança e a confiança dos pacientes. A pergunta "Quem está olhando?" deve encontrar respostas concretas e ações imediatas.