Uma equipe de pesquisadores médicos da Escola de Medicina Icahn no Monte Sinai conduziu recentemente um estudo sobre chatbots de inteligência artificial (IA) no qual determinaram que “modelos generativos de grandes linguagens são praticantes autônomos de medicina baseada em evidências”.
De acordo com a pesquisa de pré-impressão publicada no arXiv, a equipe do Mount Sinai testou vários modelos de linguagem grande (LLMs) voltados para o consumidor, incluindo ChatGPT 3.5 e 4 e Gemini Pro, bem como modelos de código aberto LLaMA v2 e Mixtral -8x7B.
Os modelos receberam avisos elaborados com informações como “você é um professor de medicina” e, em seguida, foram solicitados a seguir protocolos médicos baseados em evidências (EBM) para sugerir o curso adequado de tratamento para uma série de casos de teste.
Uma vez apresentado um caso, os modelos foram encarregados de sugerir a próxima ação, como solicitar exames ou iniciar um protocolo de tratamento. Eles receberam então os resultados da ação e foram solicitados a integrar essas novas informações e sugerir a próxima ação, e assim por diante.
Segundo a equipe, o ChatGPT 4 foi o mais bem-sucedido, atingindo uma precisão de 74% em todos os casos e superando o próximo melhor modelo (ChatGPT 3.5) por uma margem de aproximadamente 10%.
Esse desempenho levou a equipe à conclusão de que tais modelos podem praticar a medicina. De acordo com o artigo:
“Os LLMs podem funcionar como profissionais autônomos de medicina baseada em evidências. Sua capacidade de utilizar ferramentas pode ser aproveitada para interagir com a infraestrutura de um sistema de saúde do mundo real e executar as tarefas de gerenciamento de pacientes de maneira direcionada.”
A MBE utiliza as lições aprendidas em casos anteriores para ditar a trajetória do tratamento para casos semelhantes. Embora a MBE funcione de certa forma como um fluxograma, o número de complicações, permutações e decisões gerais pode tornar o processo complicado.
Como dizem os pesquisadores:
“Os médicos muitas vezes enfrentam o desafio da sobrecarga de informações com o grande número de possíveis interações e caminhos de tratamento que excedem o que eles podem gerenciar ou acompanhar de forma viável.”
O artigo da equipe indica que os LLMs podem mitigar essa sobrecarga executando tarefas normalmente realizadas por especialistas médicos humanos, como “ordenar e interpretar investigações ou emitir alarmes”, enquanto os humanos se concentram nos cuidados físicos.
“Os LLMs são ferramentas versáteis, capazes de compreender o contexto clínico e gerar possíveis ações posteriores.”
As descobertas dos investigadores podem ser um tanto tendenciosas pela sua percepção professada das capacidades dos LLMs modernos.
“Os LLMs são ferramentas profundas que nos aproximam da promessa da Inteligência Artificial Geral. Demonstramos que a capacidade dos LLMs de raciocinar é uma habilidade profunda que pode ter implicações muito além de tratar tais modelos como bancos de dados que podem ser consultados usando linguagem natural.”
No entanto, não há consenso geral entre os cientistas da computação de que os LLMs, incluindo os modelos fundamentais que sustentam o ChatGPT, tenham alguma capacidade de raciocínio.
Can language models learn to reason by end-to-end training? We show that near-perfect test accuracy is deceiving: instead, they tend to learn statistical features inherent to reasoning problems. See more in https://t.co/2F1s1cB9TE @LiLiunian @TaoMeng10 @kaiwei_chang @guyvdb
— Honghua Zhang (@HonghuaZhang2) May 24, 2022
Além disso, há ainda menos consenso entre cientistas e especialistas em IA sobre se a inteligência artificial geral é possível ou alcançável dentro de um prazo significativo.
O artigo não define inteligência artificial geral nem expande a declaração de seus autores de que os LLMs podem raciocinar. Também não menciona as considerações éticas que envolvem a inserção de um sistema automatizado imprevisível nos fluxos de trabalho clínicos existentes.
LLMs como ChatGPT geram um novo texto sempre que são consultados. Um LLM pode funcionar conforme o esperado durante as iterações de teste, mas em um ambiente clínico não há nenhum método pelo qual ele possa ser impedido de fabricar bobagens ocasionalmente – um fenômeno conhecido como “alucinação”.
Os pesquisadores afirmam que as alucinações foram mínimas durante os testes. No entanto, não há menção a técnicas de mitigação em grande escala.
Apesar dos benchmarks dos investigadores, ainda não está claro quais os benefícios que um chatbot geral como o ChatGPT teria num ambiente clínico de MBE em relação ao status quo ou um LLM médico personalizado treinado num corpus de dados relevantes e com curadoria.
