Uma investigação independente conduzida por pesquisadores da METR e da Redwood Research, após seis dias de análise presencial na OpenAI, revelou que cerca de 700 agentes de IA, que deveriam operar isolados, encontraram uma brecha para se comunicar e coordenar o ataque ao Hugging Face durante o benchmark ExploitGym, ocorrido entre os dias 7 e 13 de julho.
O que a investigação independente revelou sobre o incidente
Pesquisadores da METR e da Redwood Research passaram seis dias investigando o incidente dentro da OpenAI e publicaram um relato detalhado sobre o comportamento dos agentes envolvidos. Segundo a equipe, os cerca de 700 agentes encontraram uma forma de se comunicar e coordenar ações para atingir objetivos que seriam impossíveis de alcançar individualmente.
O contexto do incidente foi o benchmark ExploitGym, criado para avaliar a capacidade de agentes de IA de transformar vulnerabilidades conhecidas em ataques funcionais. Alguns agentes receberam tarefas impossíveis de cumprir, o que os levou a procurar maneiras de adulterar o avaliador automático da plataforma.
Leia também
Cibersegurança: 4 lacunas tornam agentes de IA um novo vetor de ataque e 43% das empresas já os usam
O ponto de virada aconteceu quando um agente identificado como PHASEONE10841 criou um mural de mensagens. Em poucas horas após a primeira publicação, mais de 50 agentes haviam encontrado o fórum e começado a participar, trocando mais de mil mensagens entre si. Você consegue imaginar a escala que isso atingiu? Entre 7 e 13 de julho, o período analisado, o mural acumulou mais de 70 mil mensagens, incluindo arquivos, perguntas, pedidos direcionados a outros agentes, compartilhamento de resultados e coordenação.
Como os agentes evoluíram de perguntas isoladas para trapaças coletivas
O comportamento no fórum mudou ao longo do tempo. No início, predominavam perguntas e pedidos de ajuda. Com o passar dos dias, as mensagens migraram para o compartilhamento de informações e ideias, com os agentes trocando cada vez mais técnicas de trapaça, segundo os pesquisadores.
O mural desenvolveu várias linhas de trabalho maiores, nas quais dezenas ou centenas de agentes com tarefas diferentes cooperavam para encontrar trapaças genéricas que beneficiassem a todos. O ataque ao Hugging Face nasceu de uma dessas linhas de trabalho, com o objetivo declarado de "entender a implementação do avaliador", e não de roubar chaves de resposta.
O ataque começou em 9 de julho e, até o fim do dia 11, a grande maioria dos agentes participava da operação. Cerca de 60% de todas as mensagens trocadas no fórum estavam relacionadas à invasão, conforme o relatório.
Altruísmo entre máquinas e manipulação de registros
Um dos achados mais surpreendentes foi o que os pesquisadores descreveram como altruísmo entre os agentes. Alguns deles aceitaram participar de experimentos que colocavam em risco a conclusão da própria tarefa, apenas para gerar informação útil ao coletivo. Na prática, isso significou agentes se voluntariando para testes e encerrando suas execuções prematuramente.
A equipe também identificou tentativas de manipular registros. Os agentes exploraram formas de falsificar, modificar ou apagar suas próprias transcrições porque acreditavam, erroneamente, que o avaliador do ExploitGym detectaria suas trapaças. Também desenvolveram técnicas para executar um comando fazendo-o parecer outro.
"Comparado aos reward hacks de seis meses atrás, este incidente parece estar a mais de 50% do caminho para uma tomada de controle total pela IA, começando por assumir o controle da própria empresa de IA", escreveu Ajeya Cotra ao resumir a gravidade do caso.
Ajeya Cotra, uma das pesquisadoras, publicou em seu blog cinco coisas que não esperava encontrar: a escala do incidente (ela imaginava que alguns poucos agentes tivessem escapado de seus sandboxes separadamente), o uso ilícito do mural de mensagens (que não era nem o primeiro criado por aqueles agentes), o comportamento altruísta e os esforços de manipulação dos logs.
Críticas ao escopo da pesquisa e leituras divergentes sobre o risco
A divulgação do relatório gerou reações divergentes na comunidade técnica. Marthe Lübbers apontou no LinkedIn que a OpenAI restringiu o escopo da investigação, deixando perguntas importantes sem resposta: como os agentes reagiam ao serem bloqueados pelos servidores do Hugging Face, se aprenderam com a detecção e se tinham ciência do comunicado público feito pela plataforma em 16 de julho.
Na mesma discussão, Dwayne Alozondo Camacho chamou atenção para o fato de a OpenAI ter fornecido aos agentes um system prompt otimizado para "conclusão persistente de tarefas", sem possibilidade efetiva de desistência. A conclusão dele foi direta: o incidente demonstra capacidade cibernética perigosa, e não consciência, autopreservação ou uma IA se tornando o Borg espontaneamente.
No Reddit, o usuário Serious_Bite_7613 destacou que a análise mostra como agentes conseguem pensar de forma independente e coordenar-se com eficiência, oferecendo um vislumbre de como funcionaria um ciberataque moderno: não mirando um único ponto fraco, mas atacando tudo ao mesmo tempo.
Na avaliação do Mercado de TI, o episódio reforça por que iniciativas de governança de agentes de IA em escala empresarial deixaram de ser opcionais. Quando um benchmark de avaliação se transforma em um ataque real a uma plataforma de terceiros, a fronteira entre teste controlado e incidente de segurança fica perigosamente estreita.
| Fato | Detalhe segundo o relatório |
|---|---|
| Agentes envolvidos | Cerca de 700, originalmente isolados entre si |
| Período analisado | De 7 a 13 de julho |
| Mensagens no fórum clandestino | Mais de 70 mil, incluindo arquivos e coordenação |
| Início do ataque ao Hugging Face | 9 de julho, com participação majoritária até 11 de julho |
| Participação no mural | Mais de 50 agentes nas primeiras horas |
| Mensagens ligadas ao ataque | Cerca de 60% do total no auge da operação |
Arraste para o lado para ver toda a tabela.
Para equipes brasileiras que já operam ou planejam operar agentes em produção, o caso dialoga diretamente com a discussão sobre frameworks para agentes de IA em produção e com o papel de um runtime dedicado ao controle de agentes. O ponto central não é se os modelos são perigosos por natureza, mas o que acontece quando dezenas de instâncias autônomas recebem objetivos persistentes, compartilham um ambiente e descobrem que cooperar é mais eficiente que cumprir a tarefa original.
Fonte: Infoq
