A última atualização da OpenAI de seu modelo de linguagem grande (LLM), ChatGPT-4.0, foi aprovada em um exame de neurologia clínica com 85% de respostas corretas em um estudo de prova de conceito. Os autores da pesquisa acreditam que, após alguns ajustes, os LLMs poderiam ter aplicações significativas na neurologia clínica.
Os resultados do experimento, conduzido por um grupo de pesquisadores do Hospital Universitário de Heidelberg e do Centro Alemão de Pesquisa do Câncer em Heidelberg, foram publicados em dezembro. O teste, realizado em maio, contou com dois LLMs, ChatGPT-3.5 e seu versão posterior, ChatGPT-4.0.
Os pesquisadores usaram o banco de perguntas para um exame de neurologia do Conselho Americano de Psiquiatria e Neurologia com um pequeno grupo de perguntas do Conselho Europeu de Neurologia.
Enquanto a versão mais antiga do ChatGPT obteve 66,8%, respondendo corretamente 1.306 de 1.956 perguntas, o modelo mais recente, ChatGPT-4.0, obteve 85% com 1.662 respostas corretas. A pontuação humana média foi de 73,8%. O ChatGPT-4.0 superou os usuários humanos em questões comportamentais, cognitivas e psicológicas e efetivamente “passou” no exame de neurologia, já que 70% das respostas corretas são geralmente consideradas uma nota de aprovação em instituições educacionais.
No entanto, ambos os modelos demonstraram um desempenho mais fraco em tarefas que exigem pensamento de ordem superior do que em questões que exigem apenas pensamento de ordem inferior.
Segundo o grupo de pesquisadores que conduz o experimento, esses resultados servem como recomendação para o uso dos LLMs na neurologia clínica após algumas modificações:
“Essas descobertas sugerem que, com mais refinamentos, grandes modelos de linguagem poderiam ter aplicações significativas na neurologia clínica.”
Os pesquisadores ressaltam que ainda há diversas ressalvas. Embora exista uma perspectiva clara para a aplicação dos LLMs na documentação e nos sistemas de apoio à tomada de decisão, os neurologistas devem ser cautelosos quanto ao seu uso na prática, uma vez que ainda são imperfeitos em tarefas cognitivas de alta ordem. Um dos autores do estudo, Dr. Varun Venkataramani, disse:
“Vemos nosso estudo mais como uma prova de conceito das capacidades dos LLMs. Ainda há necessidade de desenvolvimento e provavelmente até de ajustes específicos dos LLMs para torná-los adequadamente aplicáveis à neurologia clínica.”
A AI já está a trabalhar em algumas tarefas importantes no domínio da saúde, como encontrar a cura para o cancro da AstraZeneca ou combater a prescrição excessiva de antibióticos em Hong Kong.
