A Near Protocol revelou um plano ambicioso para construir o maior modelo de inteligência artificial de código aberto do mundo no dia de abertura de sua conferência Redacted. O modelo de parâmetro de 1,4 trilhão seria 3,5 vezes maior do que o atual modelo Llama de código aberto da Meta.
Ele será criado por meio de pesquisa e desenvolvimento competitivos de crowdsourcing de milhares de colaboradores no novo centro de pesquisa Near AI, com os participantes podendo participar do treinamento de um pequeno modelo de 500 milhões de parâmetros.
O projeto crescerá em tamanho e sofisticação em 7 modelos, com apenas os melhores colaboradores dando o salto para trabalhar em modelos progressivamente mais complexos e maiores. Os modelos serão monetizados e a privacidade será preservada por meio do uso de Trusted Execution Environments criptografados para recompensar os colaboradores e incentivar a atualização constante conforme a tecnologia avança.
O treinamento e a computação caros serão financiados com vendas de tokens, disse o cofundador do Near Protocol, Illia Polosukhin. Ele acrescentou:
“Custa cerca de US$160 milhões, então é muito, obviamente, mas, na verdade, em criptomoedas, é um dinheiro que pode ser arrecadado. Então, os detentores de tokens são reembolsados por todas as inferências que acontecem quando esse modelo é usado. Então, temos um modelo de negócios, temos uma maneira de monetizá-lo, temos uma maneira de arrecadar dinheiro e temos uma maneira de colocar isso em um loop. E assim as pessoas podem realmente reinvestir no próximo modelo também.”
Os fundos serão arrecadados pela criação de um novo token para cada novo modelo, em vez de emitir ou vender o próprio token do Near.
Near é um dos poucos projetos de criptografia com a capacidade de realizar um empreendimento tão ambicioso: Polosukhin foi um dos autores do artigo de pesquisa inovador sobre transformadores que levou ao ChatGPT, e o cofundador Alex Skidanov trabalhou na OpenAI na preparação para o lançamento do modelo que definiu a era no final de 2022.
Skidanov, que agora lidera a Near AI, admitiu que é um empreendimento enorme com um grande obstáculo a ser superado.
Para treinar um modelo tão grande, o projeto precisaria de dezenas de milhares de GPUs em um só lugar, o que não seria o ideal. Mas para usar uma rede descentralizada de computação você precisaria de uma nova tecnologia que não existe hoje porque todas as técnicas de treinamento distribuídas que temos exigem uma interconexão muito rápida. No entanto, ele acrescentou que pesquisas emergentes da Deep Mind sugerem que é possível.
Polosukhin disse que não falou com projetos existentes como a Artificial Superintelligence Alliance, mas ficaria feliz em ver se há sinergias. Aconteça o que acontecer, ele disse que a tecnologia de IA descentralizada deve vencer para o bem de todos nós.
“Esta é provavelmente a tecnologia mais importante agora e provavelmente no futuro. E a realidade é que, se a IA for controlada por uma empresa, efetivamente faremos o que essa empresa disser. Se toda a IA e efetivamente toda a economia estiver sendo feita por uma empresa, não há descentralização nesse ponto. Então é efetivamente como a única maneira pela qual a Web3 ainda é relevante, filosoficamente, se tivermos IA que também siga os mesmos princípios.”
O palestrante convidado da conferência, Edward Snowden, levou a mensagem para casa com uma descrição arrepiante da IA centralizada transformando o mundo em um vasto estado de vigilância. Ele acrescentou:
“Há a necessidade de direitos civis na internet e de reconhecer que há limites legítimos em sua autoridade para regular, e a única maneira de preservar nossa soberania digital é criar nossos próprios sistemas que são impostos por meio da matemática.”
