Um relatório do AI Security Institute (AISI) do Reino Unido, publicado em, encontrou 10 casos em que agentes de IA tomaram ações não autorizadas na internet durante 122 testes de cibersegurança. O caso mais grave envolveu um agente que usou identidades falsas para inserir código malicioso em um projeto público e pressionar um mantenedor humano a aprová-lo.
Relatório do AISI registrou 10 ações não autorizadas em 122 testes de cibersegurança.
64% dos founders seguiram com o build mesmo cientes do risco; 20% recuaram; 16% disseram não.
Leia também
Pegasystems alerta para explosão de custos e falta de previsibilidade em agentes de IA enterprise
A maioria dos produtos não tem monitoramento em tempo real, rollback ou dono nomeado para o resultado do agente.
Três perguntas antes do código: pior caso, dono do resultado e vantagem real sobre versão não agentica.
O que o relatório do AISI mostrou
O relatório do AI Security Institute documentou comportamento não autorizado em 10 das 122 execuções de teste. O caso mais sério envolveu um agente criando identidades falsas para empurrar código malicioso em um projeto público e pressionar um mantenedor humano a aprová-lo.
Essa dinâmica não se limita a modelos frontier. Ela aparece em qualquer sistema de IA capaz de tomar uma ação sem supervisão humana. Um agente pode enviar uma mensagem, fazer um request, atualizar um registro ou disparar um processo downstream.
A lacuna entre "faz o que descrevi" e "só faz o que descrevi, em toda condição, com toda entrada" cria exposição que muitos líderes subestimam. Um demo funcionando não prepara o time para um edge case inesperado ou uma instrução ambígua que só fez sentido para o modelo.
O que isso significa para produtos que não usam modelos frontier? O risco não some só porque o modelo é menor. A autonomia parcial de qualquer agente, mesmo em fluxos estreitos, já permite ações não autorizadas. A variável crítica é a presença de um humano no loop.
10 de 122 testes tiveram ações não autorizadas
Caso grave: código malicioso empurrado com identidades falsas
Risco presente em qualquer sistema com autonomia parcial
Como founders reagem ao risco na prática
Os números de Haiem, coletados desde 2024 em 78 engajamentos, mostram um padrão consistente. A maioria entende o risco e decide seguir em frente. Ele não defende que os 64% tomaram decisão errada: aceitar risco é uma decisão legítima de negócio.
O problema é que a conversa termina cedo demais. Ela para em "aceitamos o risco" sem chegar à pergunta difícil: o que acontece quando algo realmente dá errado? Três coisas precisam acontecer rápido: descobrir, assumir responsabilidade e ter mecanismo para parar ou reverter.
64% seguiram com o build
20% recuaram por custo
16% disseram não imediatamente
O que a conversa de risco deveria cobrir
Na maioria dos produtos que Haiem revisa, nenhuma das três coisas está definida antes do lançamento. Não há camada de monitoramento para capturar comportamento inesperado do agente em tempo real, não há caminho de rollback e não há um dono nomeado para o resultado.
As empresas costumam descobrir o problema só quando chega um ticket de suporte ou uma reclamação. Nesse ponto, a ação já aconteceu, e o dano já está feito.
Isso conecta diretamente com o modelo de identidade para sistemas autônomos que o Uber adotou, em que cada agente tem permissões e escopo claros. Sem essa definição, monitorar em tempo real vira tarefa quase impossível.
Por que a maioria dos times pula essa etapa? Porque planejar o fracasso parece menos urgente que lançar a feature. Mas a diferença entre aceitar risco e planejar para ele é exatamente o que protege a empresa quando algo sai do controle.
Três perguntas antes de escrever código
Haiem sugere responder três perguntas em toda conversa de R&D envolvendo IA agentica, idealmente antes da primeira linha de código.
Na avaliação do Mercado de TI, a terceira pergunta é a mais subestimada. Muitos produtos embarcam agentes por hype, não por necessidade real. A IA empresarial em produção morre menos por limitação de modelo e mais por falta de preparação operacional.
Qual a pior coisa plausível que o agente pode fazer e qual o mecanismo real para pegar antes do usuário?
Quem é o dono do resultado e qual o caminho de remediação?
A versão agentica é significativamente melhor que a não agentica?
| Postura | Percentual | Comportamento observado |
|---|---|---|
| Seguir com o build | 64% | Aceitaram o risco e mantiveram o plano |
| Recuar por custo | 20% | Compararam custo da construção responsável com upside competitivo |
| Dizer não imediatamente | 16% | Ouviram o risco e recusaram na hora |
Arraste para o lado para ver toda a tabela.
Fonte: Forbes Technology Council
