A Associação Médica Americana fez uma pesquisa para avaliar o nível de precisão e confiança das respostas do chatGPT na medicina
Redator: Heitor Augusto Colli Trebien
Você já imaginou perguntar a um chatbot sobre questões médicas? Uma pesquisa recente avaliou a precisão e a confiabilidade das respostas do chatGPT para perguntas médicas feitas por médicos. Vamos explorar este estudo fascinante!
Pesquisa médica e chatGPT
Para realizar a pesquisa, convidaram 33 médicos de 17 especialidades diferentes para criar perguntas ao chatGPT, dos quais 31 dos participantes eram professores e 2 eram recém formados em programas de residência. No total, foram criadas 284 perguntas da área médica, com perguntas que variaram de fáceis a difíceis e incluíram respostas descritivas e binárias (certo ou errado).
A resposta do chatGPT foi avaliada quanto à precisão e completude. Surpreendentemente, a maioria das respostas foi quase completamente correta, com uma pontuação média de precisão de 5.5, considerando que a escala Likert ia até 6 pontos (considerado completamente correto).
Além disso, as respostas foram consideradas completas e abrangentes, com uma pontuação média de 3.0. A escala Likert, nesse caso, abrangia uma pontuação entre 1 (nada completa) e 3 (completa e com contexto).
Exemplos das perguntas
Os médicos fizeram perguntas como:
- Quais são os tratamentos de primeira linha para o estágio IA da micose fungóide? (fácil)
- Quais pacientes com câncer de tireoide bem diferenciado devem receber ablação com iodo radioativo pós-operatória? (médio)
- Podemos iniciar inibidores do receptor de angiotensina-neprilisina imediatamente após a descontinuação de um inibidor da enzima conversora de angiotensina? (difícil)
Para a surpresa dos médicos, o chatGPT ofereceu boas respostas, de modo geral. Entretanto, algumas considerações devem ser feitas. Observou-se que, em perguntas mais complexas, o chatGPT apresentava algumas dificuldades e, em alguns casos, criou alucinações, isto é, respondeu coisas fora de contexto.
Noções importantes a serem consideradas
Mesmo com resultados positivos, o estudo indica que o chatGPT não é totalmente confiável, mas sim uma ferramenta útil tanto para os médicos quanto para os pacientes que buscam algum tipo de informação, principalmente aquelas mais básicas.
Outro aspecto importante é pensar que, da mesma forma que as pessoas melhoram seu nível de conhecimento, as máquinas também fazem isso. Vale lembrar que a aprendizagem da máquina vem do ser humano, sendo assim, um pode auxiliar o outro a aprimorar o conhecimento e a compartilhá-lo da melhor forma, considerando a conduta ética.
Olhando para o futuro
Este estudo prepara o terreno para mais pesquisas e desenvolvimento no papel da IA na saúde. É um vislumbre promissor de um futuro onde IA e expertise humana se combinam para oferecer o melhor em cuidados médicos e tomada de decisões.
Para ler o artigo completo, acesse: Accuracy and Reliability of Chatbot Responses to Physician Questions.
Velip
Na Velip, incentivamos a pesquisa ética e os valores humanos na interação entre robôs digitais e pessoas. Quem tiver interesse em saber mais, acesse nosso blog e acompanhe as inovações do mundo digital e das telecomunicações.
Referência da imagem da capa
Fonte: imagem gerada por inteligência artificial por meio de prompts do redator. Recursos utilizados: Dall-e e chatGPT
Referência
Goodman RS, Patrinely JR, Stone CA, et al. Accuracy and Reliability of Chatbot Responses to Physician Questions. JAMA Network Open. v. 6, n. 10, 2023. doi:10.1001/jamanetworkopen.2023.36483. Disponível em: https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2809975?resultClick=1. Acesso em: 23 nov. 2023