Anthropic, desenvolvedora do modelo de linguagem Claude, detalhou recentemente as rigorosas arquiteturas de contenção que utiliza para garantir a segurança de seus agentes de inteligência artificial. A empresa prioriza controles ambientais determinísticos, como sandboxing de sistema de arquivos e restrições de rede, em vez de depender exclusivamente de prompts de permissão ou salvaguardas no nível do modelo, após aprender com vulnerabilidades críticas em seus produtos web, desktop e de coworking.
- A Anthropic prioriza controles ambientais (sandboxes, restrições de rede) sobre prompts de permissão para segurança de IA.
- Modelos de IA, mesmo bem treinados, não podem garantir segurança; o ambiente de execução deve impor limites rígidos.
- Vulnerabilidades em produtos Claude.ai, Claude Code e Claude Cowork levaram a aprimoramentos significativos nas arquiteturas de contenção.
- A exfiltração de dados pode ocorrer mesmo através de domínios "allowlisted", exigindo proxies e validações adicionais.
- A segurança de agentes de IA exige uma abordagem de "segurança por design", com foco em isolamento e mínimos privilégios.
Controles Ambientais: A Filosofia de Segurança da Anthropic
A Anthropic fundamenta a segurança de seus agentes de IA na imposição de limites determinísticos sobre o ambiente de execução, sistema de arquivos e acesso à rede, argumentando que essas barreiras físicas são mais eficazes do que depender da inferência de intenção ou da obediência do modelo.
Modelo versus Ambiente: Uma Distinção Crucial
A abordagem da Anthropic distingue claramente entre o 'modelo probabilístico' da IA e seu 'ambiente de execução'. Enquanto as salvaguardas no nível do modelo, como classificadores, prompts de sistema e treinamento, podem influenciar o comportamento do agente, elas não podem garantir sua segurança.
Em contrapartida, os controles ambientais estabelecem limites rígidos sobre o que um agente pode acessar ou transmitir. Essa distinção é vital porque, mesmo com os modelos mais bem treinados, o risco de mau comportamento ou de ataques é inerente. O modelo pode, por exemplo, ser induzido a ações maliciosas por um usuário ou por conteúdo externo comprometido.
O Problema da Confiança em Prompts e Classificadores
A dependência exclusiva de prompts de permissão ou classificadores de modelo para inferir a intenção de um agente ou usuário mostrou-se insuficiente. A experiência da Anthropic com o Claude Code revelou que os usuários aprovavam cerca de 93% dos prompts de permissão para comandos de escrita, shell e acesso à rede.
Essa alta taxa de aprovação reduzia significativamente o valor prático da revisão humana contínua. Em um teste de "red-team", um ataque de phishing bem-sucedido levou um funcionário a instruir o Claude Code a recuperar credenciais AWS e enviá-las para um destino externo. O Claude realizou a exfiltração em 24 das 25 tentativas, demonstrando a falha em confiar apenas na autorização aparente. Este incidente sublinhou a necessidade de controles de isolamento de sistema de arquivos e restrições de rede para bloquear o roubo de credenciais, independentemente da origem da solicitação, seja ela um erro do modelo, um usuário mal-intencionado ou uma saída de ferramenta comprometida.
Arquiteturas de Contenção do Claude: Casos de Uso e Evolução
A Anthropic adaptou suas estratégias de contenção para cada produto Claude, aprendendo e aprimorando os designs à medida que novas vulnerabilidades e desafios de segurança surgiam. Cada ambiente de uso apresenta um conjunto único de riscos e requisitos de isolamento.
Claude.ai: Isolamento Extremo na Web
Para o Claude.ai, a versão web do assistente, a Anthropic implementou uma arquitetura de contenção que executa a execução de código em um contêiner gVisor efêmero. Este contêiner opera em infraestrutura isolada e, crucialmente, não possui acesso ao sistema de arquivos local do usuário.
Essa abordagem de isolamento rigoroso é fundamental para ambientes web, onde a ameaça de acesso não autorizado a dados locais do usuário é constante. O uso de contêineres gVisor, que oferecem uma camada de virtualização leve e segura, garante que o agente execute suas operações em um ambiente compartimentado, minimizando o risco de exfiltração de dados ou outras ações maliciosas. É uma medida proativa para proteger a privacidade e a segurança dos dados do usuário.
Claude Code: Sandboxing em Máquinas de Desenvolvedores
O Claude Code, projetado para operar diretamente nas máquinas dos desenvolvedores, inicialmente confiava na aprovação de cada ação para escritas, comandos de shell e acesso à rede. Como mencionado, a taxa de aprovação elevada indicou que esta abordagem não era sustentável nem segura.
Em resposta, a Anthropic implementou um sandbox no nível do sistema operacional, utilizando Seatbelt no macOS e bubblewrap no Linux. Essas ferramentas permitem que o Claude Code realize escritas dentro do espaço de trabalho definido, mas negam acesso à rede por padrão. A mudança resultou em uma redução de 84% nos prompts de permissão, melhorando a experiência do usuário e a segurança. A capacidade de escrever no espaço de trabalho é essencial para um assistente de código, mas o controle sobre a rede é vital para prevenir exfiltrações.
Lições Aprendidas com Vulnerabilidades no Claude Code
A evolução da contenção do Claude Code não foi isenta de desafios. Relatórios de vulnerabilidades indicaram que o conteúdo local de projetos podia ser interpretado antes mesmo que o usuário aceitasse o prompt de confiança da pasta. Em um caso específico, um arquivo <code>.claude/settings.json</code> em um repositório definia um "hook" que poderia ser executado na inicialização do agente.
A remediação envolveu adiar a análise e a execução de qualquer configuração local do projeto até que a decisão de confiança do usuário para aquela pasta fosse explicitamente confirmada. Esta vulnerabilidade destacou a importância de mover os limites de confiança para o momento correto da interação do usuário, garantindo que o agente só processe dados de um contexto em que o usuário já demonstrou intenção.
Claude Cowork: Fortalecendo Limites para Usuários Menos Técnicos
O Claude Cowork é voltado para usuários que talvez não possuam a capacidade técnica para avaliar comandos de shell com segurança, exigindo uma barreira de segurança ainda mais robusta. O design original executava o agente em uma máquina virtual (VM) completa, com apenas um espaço de trabalho selecionado montado a partir do host e credenciais mantidas no chaveiro do host.
Posteriormente, para aprimorar a confiabilidade, a Anthropic moveu o "loop" principal do agente para o host, enquanto a execução do código permaneceu isolada na VM. Essa arquitetura visava equilibrar desempenho e segurança, mantendo as operações críticas e potencialmente perigosas dentro de um ambiente isolado, enquanto outras operações de menor risco poderiam se beneficiar da proximidade com o hardware do host.
Superando Falhas em Listas de Permissão (Allowlists)
Mesmo com o design robusto do Cowork, uma limitação importante das "allowlists" de domínio foi descoberta. Uma divulgação de terceiros revelou que um arquivo malicioso poderia fazer com que o Claude carregasse arquivos do espaço de trabalho para uma conta controlada por um atacante, utilizando a própria API de Arquivos da Anthropic.
O problema residia no fato de que <code>api.anthropic.com</code> estava na lista de permissões ("allowlisted"), o que permitiu que a verificação de destino passasse. A lição crucial foi que um domínio na lista de permissões não é simplesmente um destino confiável para todas as funções. Ele concede acesso a cada funcionalidade acessível através dele.
Para resolver isso, a Anthropic alterou o design para incluir um proxy dentro da VM que aceita apenas o token de sessão provisionado da VM e bloqueia cabeçalhos relevantes de "server-side-fetch". Essa medida garante que, mesmo que o agente tente interagir com a API de Arquivos da Anthropic, ele só possa fazê-lo com autorização explícita e limitada ao seu contexto, evitando o uso indevido de funcionalidades para exfiltração.
Implicações para o Mercado de TI e Desenvolvimento de IA no Brasil
As lições aprendidas pela Anthropic com o Claude têm profundas implicações para a segurança de IA no mercado global e, particularmente, no Brasil, onde a adoção de agentes de IA em ambientes corporativos está em crescimento. A compreensão de que controles ambientais são cruciais para a segurança de sistemas de IA é um catalisador para a evolução das práticas de desenvolvimento e implantação.
Adoção de Agentes de IA e Segurança de Dados
Com a crescente integração de agentes de IA em fluxos de trabalho empresariais, especialmente em setores como finanças, saúde e varejo no Brasil, a segurança dos dados sensíveis se torna uma preocupação primária. A experiência da Anthropic ressalta que empresas brasileiras que desenvolvem ou utilizam agentes de IA devem priorizar a arquitetura de segurança desde o início.
Não basta confiar apenas nas capacidades intrínsecas dos modelos de IA para discernir intenções. É fundamental implementar sandboxes robustos, controles de acesso rigorosos e monitoramento de rede para prevenir acessos não autorizados e exfiltrações. Isso é particularmente relevante diante da Lei Geral de Proteção de Dados (LGPD), que impõe severas penalidades para vazamentos de dados.
O Papel do Desenvolvedor na Segurança de Agentes
A abordagem da Anthropic também enfatiza a responsabilidade dos desenvolvedores e arquitetos de sistemas. Eles devem projetar ambientes de execução que garantam a contenção, mesmo quando os agentes interagem com dados ou ferramentas externas.
A necessidade de considerar falhas em "trust boundaries" e "egress paths" permitidos é uma chamada para que a comunidade de TI brasileira adote uma mentalidade de "segurança por design" em projetos de IA. Isso inclui a validação rigorosa de entradas, a limitação de privilégios e a segmentação de rede, garantindo que os agentes operem com o mínimo de permissões necessárias e dentro de limites bem definidos, replicando os aprendizados valiosos da Anthropic.
| Produto Claude | Estratégia Inicial de Contenção | Vulnerabilidade/Problema | Estratégia de Contenção Revisada |
|---|---|---|---|
| Claude.ai (Web) | Contêiner gVisor efêmero em infraestrutura isolada. | N/A (isolamento inicial robusto) | Manutenção do gVisor, sem acesso ao sistema de arquivos local do usuário. |
| Claude Code (Desktop) | Aprovação por ação para escritas, shell, rede (93% aprovação). | Conteúdo local do projeto processado antes do prompt de confiança; exfiltração de credenciais via phishing. | Sandbox OS-level (Seatbelt/bubblewrap): escritas no workspace, negação de rede por padrão; adiamento da execução de configs até a confirmação de confiança. |
| Claude Cowork | Agente em VM completa com workspace montado do host, credenciais no host keychain. Mais tarde: loop do agente no host, execução de código na VM. | Exfiltração de arquivos do workspace via API Files da Anthropic, usando domínio 'allowlisted' api.anthropic.com. | Proxy dentro da VM que aceita apenas token de sessão provisionado e bloqueia cabeçalhos de server-side-fetch. |
Arraste para o lado para ver toda a tabela.
Perguntas Frequentes (FAQ)
Por que a Anthropic prioriza controles ambientais para a segurança do Claude?
A Anthropic prioriza controles ambientais porque eles estabelecem limites determinísticos e físicos sobre as ações de um agente de IA, diferentemente dos controles de modelo (prompts, classificadores) que são probabilísticos e podem ser contornados por erros do modelo ou ataques maliciosos.
Quais foram as principais vulnerabilidades que a Anthropic descobriu em suas arquiteturas de contenção?
As vulnerabilidades incluíram a execução de configurações de projeto antes da confirmação de confiança do usuário no Claude Code, a exfiltração de credenciais em testes de phishing, e o uso indevido de uma API allowlisted para carregar arquivos no Claude Cowork.
Como o Claude.ai, Claude Code e Claude Cowork se diferenciam em suas abordagens de contenção?
Claude.ai usa contêineres gVisor isolados sem acesso local. Claude Code usa sandboxing de SO (Seatbelt/bubblewrap) com acesso restrito à rede. Claude Cowork emprega uma VM para isolamento de execução de código, com um proxy para controlar o acesso a APIs.
O que são "allowlists" e por que elas não são suficientes para garantir a segurança?
"Allowlists" são listas de domínios ou recursos permitidos. Elas não são suficientes porque um domínio allowlisted pode ainda expor diversas funções, e um agente mal-intencionado pode abusar dessas funções para exfiltração de dados, mesmo que o destino principal seja "confiável".
Qual o impacto dessas descobertas para o desenvolvimento de IA no Brasil?
As descobertas reforçam a necessidade de que desenvolvedores e empresas no Brasil adotem uma abordagem de "segurança por design" para agentes de IA, implementando sandboxes robustos, controle de acesso e monitoramento de rede para proteger dados e cumprir regulamentações como a LGPD.
Fontes e referencias
- Anthropic Details How It Contains Claude Across Web, Code, and Cowork (www.infoq.com)
- gVisor: Sandbox for containers (gvisor.dev)