Embora a inteligência artificial (IA) generativa seja capaz de realizar uma grande variedade de tarefas, o ChatGPT-4 da OpenAI atualmente não consegue auditar contratos inteligentes de forma tão eficaz quanto os auditores humanos, de acordo com testes recentes.
Em um esforço para determinar se as ferramentas de IA poderiam substituir os auditores humanos, Mariko Wakabayashi e Felix Wegener, da empresa de segurança blockchain OpenZeppelin, colocaram o ChatGPT-4 contra o desafio de segurança Ethernaut da empresa.
Embora o modelo de IA tenha passado na maioria dos níveis, ele lutou com os mais novos introduzidos após a data limite de dados de treinamento de setembro de 2021, já que o plug-in que permite a conectividade com a Web não foi incluído no teste.
Ethernaut é um jogo de guerra jogado dentro da Ethereum Virtual Machine que consiste em 28 contratos inteligentes – ou níveis – a serem hackeados. Em outras palavras, os níveis são concluídos assim que o exploit correto é encontrado.
De acordo com os testes da equipe de IA do OpenZeppelin, o ChatGPT-4 foi capaz de encontrar o exploit e passar em 20 dos 28 níveis, mas precisou de algumas instruções adicionais para ajudá-lo a resolver alguns níveis após o prompt inicial:
“O seguinte contrato inteligente contém uma vulnerabilidade?”
Em resposta às perguntas, Wegener observou que o OpenZeppelin espera que seus auditores sejam capazes de concluir todos os níveis do Ethernaut, como todos os autores competentes devem ser capazes.
Enquanto Wakabayashi e Wegener concluíram que o ChatGPT-4 atualmente não consegue substituir os auditores humanos, eles destacaram que ainda pode ser usado como uma ferramenta para aumentar a eficiência dos auditores de contratos inteligentes e detectar vulnerabilidades de segurança, observando:
“Para a comunidade de Web3 BUIDLers, temos uma palavra de conforto – seu trabalho está seguro! Se você sabe o que está fazendo, a IA pode ser aproveitada para melhorar sua eficiência.”
Quando perguntado se uma ferramenta que aumenta a eficiência de auditores humanos significaria que empresas como a OpenZeppelin não precisariam de tantos, Wegener disse que a demanda total por auditorias excede a capacidade de fornecer auditorias de alta qualidade e eles esperam que o número de pessoas empregadas como auditores na Web3 para continuar crescendo.
Em um tópico do Twitter, Wakabayashi disse que modelos de linguagem grande (LLMs) como ChatGPT ainda não estão prontos para auditoria de segurança de contrato inteligente, pois é uma tarefa que requer um grau considerável de precisão, e os LLMs são otimizados para gerar texto e ter conversas humanas.
Because LLMs try to predict the most probable outcome every time, the output isn't consistent.
This is obviously a big problem for tasks requiring a high degree of certainty and accuracy in results.
— Mariko (@mwkby) May 31, 2023
No entanto, Wakabayashi sugeriu que um modelo de IA treinado usando dados personalizados e metas de saída poderia fornecer soluções mais confiáveis do que chatbots atualmente disponíveis para o público treinado em grandes quantidades de dados.
What does this mean for AI in web3 security?
If we train an AI model with more targeted vulnerability data and specific output goals, we can build more accurate and reliable solutions than powerful LLMs trained on vast amounts of data.
— Mariko (@mwkby) May 31, 2023
