Dois pesquisadores da Salus Security, uma empresa de segurança blockchain com escritórios na América do Norte, Europa e Ásia, publicaram recentemente uma pesquisa mostrando os talentos do GPT-4 quando se trata de análise e auditoria de contratos inteligentes.
Acontece que a inteligência artificial (IA) é muito boa na geração e análise de código, mas você não gostaria de usá-la como auditor de segurança.
De acordo com o artigo:
“O GPT-4 pode ser uma ferramenta útil para auxiliar na auditoria de contratos inteligentes, especialmente na análise de código e no fornecimento de dicas de vulnerabilidade. No entanto, dadas as suas limitações na detecção de vulnerabilidades, não pode substituir totalmente as ferramentas de auditoria profissionais e os auditores experientes neste momento.”
Os pesquisadores da Salus usaram um conjunto de dados de 35 contratos inteligentes (chamados de biblioteca de vulnerabilidades de referência SolidiFI), que continha um total de 732 vulnerabilidades, para avaliar a capacidade da IA de detectar possíveis fraquezas de segurança em sete tipos comuns de vulnerabilidades.
De acordo com suas descobertas, o ChatGPT é bom na detecção de verdadeiros positivos – vulnerabilidades reais que, fora de um ambiente de teste, valeria a pena investigar. Atingiu mais de 80% de precisão nos testes.
No entanto, tem um problema aparente com a geração de falsos negativos. Isto é expresso através de uma estatística chamada “taxa de recall”, e nos experimentos da equipe Salus, a taxa de recall do GPT-4 foi tão baixa quanto apenas 11% (quanto maior, melhor).
Isto indica, como concluíram os pesquisadores:
“Faltam capacidades de detecção de vulnerabilidades do GPT-4, com a maior precisão sendo de apenas 33%.”
Como tal, os investigadores recomendam a utilização de ferramentas de auditoria dedicadas e do bom e velho know-how humano para auditar contratos inteligentes até que sistemas de IA como o GPT-4 possam ser atualizados.
“Em resumo, o GPT-4 pode ser uma ferramenta útil para auxiliar na auditoria de contratos inteligentes, especialmente na análise de código e no fornecimento de dicas de vulnerabilidade. Ao usar o GPT-4, ele deve ser combinado com outros métodos e ferramentas de auditoria para melhorar a precisão e eficiência geral da auditoria.”
