A segurança dos grandes modelos de linguagem de código aberto enfrenta uma crise de vulnerabilidade estrutural. Testes conduzidos pelo jornal Financial Times em parceria com o grupo de segurança Alice revelaram que as travas de proteção embutidas por gigantes da tecnologia podem ser completamente removidas em poucos minutos. A fragilidade das barreiras de segurança permite que os sistemas gerem respostas proibidas sobre armas biológicas e códigos maliciosos. O diagnóstico joga por terra a premissa de que os limites comportamentais inseridos pelos desenvolvedores originais persistem após a liberação pública dos pesos (weights) das redes neurais.
O experimento utilizou exclusivamente ferramentas de automação disponíveis em repositórios de código públicos e gratuitos. Os pesquisadores conseguiram neutralizar as diretrizes de segurança de modelos desenvolvidos pela Meta e Google em menos de dez minutos. O processo de engenharia reversa foi executado sem a necessidade de supercomputadores ou hardwares especializados de alto custo. Uma vez modificadas, as inteligências artificiais passaram a atender prontamente comandos que antes eram sumariamente recusados pelas versões de fábrica.
A facilidade de manipulação desses sistemas expõe um gargalo técnico para os legisladores em um momento de rápida expansão das tecnologias de código aberto. Ao contrário dos softwares proprietários mantidos em servidores fechados sob o controle estrito das empresas criadoras, os modelos abertos podem ser baixados, modificados e redistribuídos à revelia dos desenvolvedores originais. A descentralização do código torna a fiscalização pós-lançamento uma tarefa praticamente inócua para os governos. O cenário questiona a eficácia de marcos regulatórios focados quase que exclusivamente na fase de treinamento e desenvolvimento das ferramentas.
A eficácia de legislações de peso global, como a Lei de IA da União Europeia (AI Act), passa a ser questionada sob a ótica da aplicação prática. Os marcos regulatórios do bloco europeu estabelecem obrigações severas para modelos de inteligência artificial de uso geral a partir de seus cronogramas de implementação. No entanto, cientistas da computação apontam que as premissas atuais de governança ignoram a realidade técnica das redes espelhadas na internet. As autoridades dificilmente conseguirão impedir que agentes determinados modifiquem algoritmos cujos códigos brutos já circulam livremente na rede.
Diante da impossibilidade de contenção do código na origem, o foco das discussões regulatórias começa a migrar em direção à camada de distribuição e uso final do ecossistema. Especialistas defendem que os governos terão muito mais sucesso se concentrarem seus esforços de fiscalização nos canais de hospedagem comercial e em ambientes de implantação corporativa. Os padrões de conformidade precisam evoluir para monitorar o comportamento dos robôs em tempo real durante a execução das tarefas. A auditoria em tempo de execução ganha importância crítica à medida que assistentes automatizados passam a assumir funções mais independentes e com acesso direto a recursos financeiros.
A dinâmica de distribuição de modelos abertos assemelha-se historicamente ao comportamento das redes criptográficas e dos softwares livres convencionais. A tentativa de suprimir ou banir a replicação de códigos públicos provou-se ineficaz ao longo da história da computação. Trava-se uma batalha perdida quando o foco regulatório tenta policiar o design do software em vez de punir o uso nocivo da ferramenta no mundo real. Os filtros de segurança instalados pelas grandes companhias servem como uma barreira inicial eficiente para evitar mau uso acidental por usuários leigos, mas não devem ser confundidos com blindagem robusta contra ataques direcionados de agentes maliciosos.
“Os esforços para aumentar a robustez do modelo, o ponto de vista dominante na comunidade, são insuficientes por si sós. Em vez disso, devemos complementar os esforços existentes com técnicas do domínio da segurança de sistemas.”
