Pesquisadores de inteligência artificial (IA) do Google Research e do Google DeepMind desenvolveram um método pelo qual um grande modelo de linguagem (LLM) pode ser aumentado com outros modelos de linguagem.
Isso resolve um dos maiores problemas pendentes dos LLMs, permitindo que os desenvolvedores imbuam os modelos existentes com novas habilidades sem ter que começar do zero ou se envolver em sessões dispendiosas de retreinamento/ajuste.
De acordo com a equipe de pesquisa do Google, aumentar um LLM com outra linguagem melhora o desempenho nas tarefas existentes e permite novas tarefas que não seriam alcançáveis pelos modelos por si só.
A pesquisa foi conduzida usando o PaLM2-S LLM do Google, um modelo que a empresa afirma ser comparável ao GPT-4, a IA que sustenta o ChatGPT da OpenAI.
O PaLM2-S foi avaliado sozinho nos experimentos da equipe e novamente após ser aumentado com modelos de linguagem especializados menores. As tarefas realizadas incluíram tradução, onde a versão aumentada apresentou uma melhoria de até 13% em relação à linha de base, e codificação.
Quando testado em tarefas de codificação, o modelo híbrido apresentou melhorias significativas, conforme artigo:
“Da mesma forma, quando o PaLM2-S é aumentado com um modelo específico de código, vemos uma melhoria relativa de 40% em relação ao modelo básico para geração de código e tarefas de explicação – no mesmo nível de contrapartes totalmente ajustadas.”
Superficialmente, os ganhos de desempenho demonstrados poderão ter implicações imediatas para o setor de IA. O aumento do desempenho em tarefas de tradução, por exemplo, foi evidentemente maior na tradução de línguas com pouco apoio para o inglês. Este continua a ser um problema notável no aprendizado de máquina, e o trabalho do Google aqui tem o potencial de mudar o rumo.
No entanto, num esquema mais amplo, é possível que esta linha de investigação possa abordar a iminente ‘Espada de Dâmocles’ que paira sobre as cabeças de muitos CEOs tecnológicos no sector da IA: problemas jurídicos que poderiam desmantelar a própria fundação de chatbots como o ChatGPT.
Os criadores de alguns dos mais populares modelos de linguagem de grande porte foram citados como réus em vários processos judiciais baseados em alegações de que esses sistemas de IA são treinados com base em dados protegidos por direitos autorais.
A questão que os legisladores e os tribunais terão de responder é se uma empresa com fins lucrativos pode utilizar legalmente estes dados para treinar os seus modelos linguísticos. No extremo, se os tribunais decidirem que os desenvolvedores não podem usar esses dados e que quaisquer modelos treinados em material protegido por direitos autorais devem ser eliminados, poderá ser tecnicamente impossível ou financeiramente inviável continuar a oferecer os serviços afetados.
Essencialmente, devido aos elevados custos envolvidos na formação de grandes modelos de linguagem e à sua dependência de enormes quantidades de dados, produtos como o ChatGPT, tal como são construídos hoje, podem não ser viáveis num cenário de IA mais regulamentado dos Estados Unidos.
No entanto, se o novo esquema de aumento de LLM do Google se desenvolver com mais desenvolvimento, é possível que muitos dos requisitos de escalonamento e custos de criação de um LLM do zero ou de reciclagem de um já existente possam ser mitigados.
