Um estudo de pesquisa recente intitulado “Modelos de linguagem maiores e mais instrutíveis se tornam menos confiáveis” no Nature Scientific Journal revelou que os chatbots de inteligência artificial estão cometendo mais erros ao longo do tempo, à medida que novos modelos são lançados.
Lexin Zhou, um dos autores do estudo, teorizou que, como os modelos de IA são otimizados para sempre fornecer respostas confiáveis, as respostas aparentemente corretas são priorizadas e enviadas ao usuário final, independentemente da precisão.
Essas alucinações de IA são auto-reforçadas e tendem a se agravar com o tempo — um fenômeno exacerbado pelo uso de modelos de linguagem grandes mais antigos para treinar modelos de linguagem grandes mais novos, resultando em “colapso do modelo”.
O editor e escritor, Mathieu Roy, alertou os usuários para não confiarem muito nessas ferramentas e sempre verificarem os resultados de pesquisa gerados pela IA em busca de inconsistências:
“Embora a IA possa ser útil para uma série de tarefas, é importante que os usuários verifiquem as informações que obtêm dos modelos de IA. A verificação de fatos deve ser uma etapa no processo de todos ao usar ferramentas de IA. Isso fica mais complicado quando chatbots de atendimento ao cliente estão envolvidos. Para piorar a situação, geralmente não há como verificar as informações, exceto perguntando ao próprio chatbot.”
A plataforma de inteligência artificial do Google foi ridicularizada em fevereiro de 2024, depois que a IA começou a produzir imagens historicamente imprecisas. Exemplos disso incluíam retratar pessoas de cor como oficiais nazistas e criar imagens imprecisas de figuras históricas conhecidas.
Infelizmente, incidentes como esse são muito comuns com a iteração atual de inteligência artificial e modelos de linguagem ampla. Executivos da indústria, incluindo o CEO da Nvidia, Jensen Huang, propuseram mitigar as alucinações de IA forçando os modelos de IA a conduzir pesquisas e fornecer fontes para cada resposta dada a um usuário.
No entanto, essas medidas já são apresentadas nos modelos de IA e linguagem ampla mais populares, mas o problema das alucinações de IA persiste.
Mais recentemente, em setembro, o CEO da HyperWrite AI, Matt Shumer, anunciou que o novo modelo 70B da empresa usa um método chamado “Reflection-Tuning” — que supostamente dá ao robô de IA uma maneira de aprender analisando seus próprios erros e ajustando suas respostas ao longo do tempo.
