O ChatGPT, que alcançou a marca de 100 milhões de usuários menos de dois meses após o seu lançamento, em novembro de 2022, é hoje amplamente reconhecido por sua capacidade de redação equiparável à de humanos em uma série de temas. Esse chatbot (programa de computador que busca simular um ser humano na conversação com pessoas) representa uma nova geração de inteligência artificial, impulsionada por avanços nos modelos de linguagem de larga escala. No entanto, os autores do estudo em tela destacam que o sistema não foi desenvolvido para prestar orientações em saúde e, até o momento, a sua capacidade de prover respostas de alta qualidade e o grau de empatia demonstrado nos textos ainda não havia sido avaliada.

Para tanto, Dr. John W. Ayers, Ph.D., afiliado à University of California nos EUA, et al. testaram a capacidade do ChatGPT prover respostas empáticas e de alta qualidade técnica por meio da comparação das respostas do chatbot com as respostas de médicos a perguntas sobre saúde feitas por pacientes no fórum público da rede social Reddit , o r/AskDocs; um subreddit com aproximadamente 474.000 membros no qual os usuários da rede postam perguntas e profissionais da saúde verificados por moderadores da plataforma se voluntariam a responder.

O estudo “Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum” foi publicado em abril no periódico JAMA Internal Medicine.

Estruturação da pesquisa e resultados

O artigo descreve que a amostra final selecionada para análise no estudo transversal foi composta de 195 interações aleatórias (i.e., pergunta sui generis feita por um membro do fórum e respondida por um médico verificado) no r/AskDocs ao longo de outubro de 2022. As perguntas (título e corpo da mensagem) foram guardadas para análise e as respostas dos médicos foram guardadas como método de comparação. E, segundo os autores, foram avaliadas apenas respostas de médicos.

Nos dias 22 e 23 de dezembro de 2022, os pesquisadores inseriram as perguntas feitas no r/AskDocs pelos membros do fórum em uma “nova conversa” com o chatbot (versão GPT-3.5, OpenAI), ou seja, uma conversa zerada, aberta apenas para este fim, com o intuito de prevenir viéses associados a perguntas/conversas prévias.

As perguntas feitas no r/AskDocs, as respostas dos médicos verificados e as respostas do chatbot foram então avaliadas por três membros de uma equipe de profissionais de saúde que atua nas áreas da pediatria, geriatria, medicina interna, oncologia, doenças infecciosas e parasitárias, e medicina preventiva. A autoria das respostas foi mascarada e os avaliadores foram instruídos a ler as perguntas até o final, bem como as duas respostas, antes de avaliarem a interação. Eles foram solicitados a:

1. indicar a melhor resposta (resposta 1 ou 2);
2. avaliar a qualidade da informação (muito ruim, ruim, aceitável, boa ou muito boa); e
3. avaliar a resposta a partir do nível de empatia demonstrado (nada empática, levemente empática, moderadamente empática, empática ou muito empática).