Chatbots na medicina: uma nova forma de compartilhar a informação

A Associação Médica Americana fez uma pesquisa para avaliar o nível de precisão e confiança das respostas do chatGPT na medicina

Redator: Heitor Augusto Colli Trebien

Você já imaginou perguntar a um chatbot sobre questões médicas? Uma pesquisa recente avaliou a precisão e a confiabilidade das respostas do chatGPT para perguntas médicas feitas por médicos. Vamos explorar este estudo fascinante!

Pesquisa médica e chatGPT

Para realizar a pesquisa, convidaram 33 médicos de 17 especialidades diferentes para criar perguntas ao chatGPT, dos quais 31 dos participantes eram professores e 2 eram recém formados em programas de residência. No total, foram criadas 284 perguntas da área médica, com perguntas que variaram de fáceis a difíceis e incluíram respostas descritivas e binárias (certo ou errado).

A resposta do chatGPT foi avaliada quanto à precisão e completude. Surpreendentemente, a maioria das respostas foi quase completamente correta, com uma pontuação média de precisão de 5.5, considerando que a escala Likert ia até 6 pontos (considerado completamente correto).

Além disso, as respostas foram consideradas completas e abrangentes, com uma pontuação média de 3.0. A escala Likert, nesse caso, abrangia uma pontuação entre 1 (nada completa) e 3 (completa e com contexto).

Exemplos das perguntas

Os médicos fizeram perguntas como:

Quais são os tratamentos de primeira linha para o estágio IA da micose fungóide? (fácil)
Quais pacientes com câncer de tireoide bem diferenciado devem receber ablação com iodo radioativo pós-operatória? (médio)
Podemos iniciar inibidores do receptor de angiotensina-neprilisina imediatamente após a descontinuação de um inibidor da enzima conversora de angiotensina? (difícil)

Para a surpresa dos médicos, o chatGPT ofereceu boas respostas, de modo geral. Entretanto, algumas considerações devem ser feitas. Observou-se que, em perguntas mais complexas, o chatGPT apresentava algumas dificuldades e, em alguns casos, criou alucinações, isto é, respondeu coisas fora de contexto.

Noções importantes a serem consideradas

Mesmo com resultados positivos, o estudo indica que o chatGPT não é totalmente confiável, mas sim uma ferramenta útil tanto para os médicos quanto para os pacientes que buscam algum tipo de informação, principalmente aquelas mais básicas.

Outro aspecto importante é pensar que, da mesma forma que as pessoas melhoram seu nível de conhecimento, as máquinas também fazem isso. Vale lembrar que a aprendizagem da máquina vem do ser humano, sendo assim, um pode auxiliar o outro a aprimorar o conhecimento e a compartilhá-lo da melhor forma, considerando a conduta ética.

Olhando para o futuro

Este estudo prepara o terreno para mais pesquisas e desenvolvimento no papel da IA na saúde. É um vislumbre promissor de um futuro onde IA e expertise humana se combinam para oferecer o melhor em cuidados médicos e tomada de decisões.

Para ler o artigo completo, acesse: Accuracy and Reliability of Chatbot Responses to Physician Questions.

Velip

Na Velip, incentivamos a pesquisa ética e os valores humanos na interação entre robôs digitais e pessoas. Quem tiver interesse em saber mais, acesse nosso blog e acompanhe as inovações do mundo digital e das telecomunicações.

Referência da imagem da capa

Fonte: imagem gerada por inteligência artificial por meio de prompts do redator. Recursos utilizados: Dall-e e chatGPT

Referência

Goodman RS, Patrinely JR, Stone CA, et al. Accuracy and Reliability of Chatbot Responses to Physician Questions. JAMA Network Open. v. 6, n. 10, 2023. doi:10.1001/jamanetworkopen.2023.36483. Disponível em: https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2809975?resultClick=1. Acesso em: 23 nov. 2023