Jake Mannix, Technical Fellow na Walmart Global Tech, apresentou na QCon AI uma nova visão para o desenvolvimento de agentes de Inteligência Artificial, propondo a arquitetura de “Ferramentas Virtuais” e “Taint Tracking” para integrar princípios de engenharia de software tradicional, como abstração, encapsulamento e versionamento, a fim de superar os desafios de escalabilidade, segurança e confiabilidade do modelo atual de “copiar e colar” prompts.
- A construção de agentes de IA precisa adotar princípios de engenharia de software tradicional para superar a complexidade atual.
- Ferramentas Virtuais permitem abstração, encapsulamento e versionamento de ferramentas MCP, otimizando o contexto do LLM.
- Taint Tracking oferece segurança proativa, aplicando políticas determinísticas para evitar exfiltração de dados em tempo de construção e execução.
- Um Registry Corporativo é crucial para versionar ferramentas, políticas e configurações, garantindo governança e rastreabilidade.
- Eval Packs democratizam as avaliações de agentes, permitindo otimização de custos e modelos LLM sem intervenção manual.
O Problema Atual: Agentes de IA como Software de 1975
A ascensão dos Large Language Models (LLMs) trouxe consigo uma nova forma de “programar”: em linguagem natural. No entanto, Jake Mannix argumenta que essa liberdade resultou em uma arquitetura caótica, reminiscente dos primeiros dias da programação. Ele compara o desenvolvimento de agentes atuais com o BASIC de 1975, onde tudo é um grande arquivo com instruções GOTO não determinísticas e sem estruturas claras.
A Ineficácia do Modelo "Copy-Paste" e MCP
O Modelo de Protocolo de Contexto (MCP) surgiu como uma tentativa de organizar a interação entre agentes e ferramentas, permitindo que funcionalidades especializadas fossem delegadas a servidores externos. Embora represente um avanço ao evitar a recriação constante de ferramentas, Mannix critica a implementação comum do MCP: a descrição e o esquema das ferramentas são copiados e colados diretamente no prompt do sistema do LLM. Esse método é como se a importação de uma biblioteca em uma linguagem tradicional (como Python com NumPy) significasse que todo o código da biblioteca fosse explodido no seu arquivo-fonte principal, resultando em um código inchado, confuso e propenso a erros.
Desafios na Composição e Avaliação de Agentes
A abordagem atual do MCP impede que os desenvolvedores de agentes tenham controle efetivo sobre a lógica e a qualidade de seus agentes. Eles são responsáveis pelas avaliações (evals), mas têm pouca capacidade de ajustar a maneira como as ferramentas são apresentadas ao LLM. Isso gera problemas como:
<ul><li><strong>Abstração e Encapsulamento Insuficientes:</strong> Não há como criar interfaces genéricas ou esconder detalhes de implementação das ferramentas.</li><li><strong>Versionamento e Dependência:</strong> A falta de versionamento dinâmico das ferramentas significa que uma alteração no servidor MCP pode impactar um agente em produção sem aviso ou controle.</li><li><strong>Gasto de Contexto:</strong> Parâmetros irrelevantes das ferramentas consomem tokens valiosos na janela de contexto do LLM, aumentando custos e diminuindo a eficácia.</li><li><strong>Propriedade Dividida:</strong> A responsabilidade pela qualidade do agente fica dividida entre o autor do agente e o autor da ferramenta, sem um contrato claro de como interagem.</li></ul>
Ferramentas Virtuais: Abstração e Encapsulamento para Agentes
A solução proposta por Mannix é introduzir uma camada adicional de indireção: as “Ferramentas Virtuais”. Esta camada intermediária atua como um diretório de utilitários ou wrappers, permitindo que os desenvolvedores de agentes personalizem e componham ferramentas de forma controlada.
Renomeando e Adaptando Ferramentas
Uma das funcionalidades-chave das Ferramentas Virtuais é a capacidade de renomear e reescrever as descrições das ferramentas MCP subjacentes. Por exemplo, uma ferramenta genérica de “enviar mensagem Slack” pode ser renomeada para “notificar engenharia”, alinhando-se melhor com a terminologia interna da equipe e permitindo uma futura troca de provedor (ex: Slack para Microsoft Teams) sem alterar o agente.
Otimização de Parâmetros e Contexto
As Ferramentas Virtuais permitem projetar apenas os parâmetros relevantes de uma ferramenta para o LLM, eliminando informações desnecessárias que poderiam confundir o modelo ou consumir tokens. Além disso, é possível fixar valores padrão para certos parâmetros, garantindo um comportamento determinístico e removendo a necessidade de o LLM “adivinhar” esses valores, como um ID de organização ou um canal de notificação específico.
Composição de Ferramentas via Configuração
Mannix sugere que essa camada intermediária também pode habilitar a composição de ferramentas de forma declarativa e configurável. Isso permitiria operações como encadeamento sequencial, paralelização (fork e join) e condicionais, aproximando a construção de agentes de um modelo de workflow. Ao invés de depender totalmente da capacidade do LLM de orquestrar essas ações, os desenvolvedores poderiam definir fluxos determinísticos, aumentando a confiabilidade e o controle.
Segurança Proativa com Taint Tracking e Políticas Determinísticas
Um dos maiores problemas no desenvolvimento de agentes atuais é o risco de exfiltração de dados, especialmente com a “trifecta letal” de Simon Willison: ferramentas que leem conteúdo não confiável (e-mail), ferramentas que escrevem para o mundo externo (publicar blog) e ferramentas que acessam dados internos privados (endereço do usuário). Quando as três estão presentes no mesmo contexto, há um risco grave de injeção de prompt e vazamento de informações.
A "Trifecta Letal" e Riscos de Exfiltração de Dados
Mannix ressalta que é imprudente confiar no LLM para aplicar políticas de segurança, pois eles são probabilísticos, podem ser enganados (jailbreak) e estão sujeitos a inputs adversariais. A segurança deve ser implementada com “defesa em profundidade”, o que exige uma camada de aplicação de políticas determinística, fora do controle direto do LLM.
Implementando o Taint Tracking para Reforçar Políticas
A solução proposta é o “Taint Tracking”, uma técnica para rotular dados com classificações de segurança (ex: PII - Informação Pessoalmente Identificável, dados externos não confiáveis). Quando uma ferramenta retorna dados PII, por exemplo, todo o contexto subsequente é “tainted” (contaminado) com essa classificação. Isso permite que políticas sejam aplicadas proativamente, como desabilitar automaticamente o acesso a ferramentas externas se o contexto contiver PII.
Aplicação de Políticas em Tempo de Construção e Execução
O reforço de políticas pode ocorrer em diferentes estágios:
<ul><li><strong>Tempo de Construção e Registro:</strong> Análise estática das ferramentas e agentes para garantir a conformidade com políticas de segurança (ex: um workflow compatível com HIPAA não deve ter acesso à web aberta).</li><li><strong>Tempo de Execução Dinâmico:</strong> Um proxy intercepta as chamadas de ferramentas e, ao detectar uma violação de taint (ex: contexto com PII e tentativa de chamar ferramenta externa), remove proativamente a ferramenta da lista disponível para o LLM. Isso evita que o LLM sequer tente a ação proibida, reduzindo a superfície de ataque e prevenindo erros durante a execução.</li></ul>
Essa abordagem permite que as empresas de TI no Brasil e no mundo desenvolvam agentes de forma mais segura, mitigando riscos de conformidade e vazamento de dados, um aspecto crucial para a adoção massiva de IA.
Onde Residem as Inovações: Gateway MCP e Registry Corporativo
Para implementar as Ferramentas Virtuais e o Taint Tracking, Mannix sugere a inserção de uma nova camada na arquitetura existente. Essa camada seria um ponto de interceptação para as comunicações do MCP.
Gateway MCP: O Ponto de Interceptação
Um “MCP Gateway” ou “Proxy Sidecar” seria responsável por interceptar as requisições e respostas do protocolo MCP. Ele atuaria como um tradutor, aplicando as regras de Ferramentas Virtuais (renomear, projetar esquemas) e as políticas de Taint Tracking antes que as ferramentas sejam apresentadas ao LLM ou antes que uma chamada de ferramenta seja executada. Esse gateway deve ser leve e performático, pois precisa inspecionar payloads, mas o custo é justificável dado o tempo de latência inerente das chamadas LLM.
A Necessidade de um Registry Versionado
Mannix critica a falta de versionamento na especificação atual do MCP, onde as listas de ferramentas são dinâmicas e podem mudar a qualquer momento. Isso torna a avaliação de agentes e a garantia de qualidade impraticáveis. Ele propõe um “Registry Corporativo” para armazenar e versionar:
<ul><li>Definições de Ferramentas Virtuais.</li><li>Políticas de segurança e regras de taint.</li><li>Configurações de LLMs.</li><li>Dependências entre agentes e ferramentas, permitindo visualizar a arquitetura de forma clara.</li></ul>
Com um registro versionado, os agentes poderiam fixar suas dependências em versões específicas das Ferramentas Virtuais, garantindo estabilidade e reprodutibilidade nas avaliações e no comportamento em produção. Isso é crucial para empresas brasileiras que precisam de compliance e auditoria em suas soluções de IA.
Evolução das Evals: Garantindo Qualidade e Economia em Escala
A garantia de qualidade dos agentes, ou “evals” (avaliações), é outro ponto crítico. Mannix defende que as evals devem ser tratadas como um “PRD indutivo” (Product Requirements Document), onde exemplos de entrada e saída definem o comportamento esperado do agente. Essas avaliações devem ser centralizadas e acessíveis.
O Conceito de Eval Packs
Mannix propõe a criação de “Eval Packs” dentro do registry corporativo. Um Eval Pack conteria:
<ul><li>Um <strong>dataset de avaliação</strong> com exemplos de entrada e saída (baseado nos schemas de entrada e saída do agente).</li><li>Um <strong>executor de avaliação</strong> (um ponteiro para um binário) que pode rodar as entradas contra o agente.</li><li>Uma <strong>configuração</strong> para comparar as saídas esperadas com as saídas reais (usando um LLM como juiz).</li></ul>
Essa estrutura permite que até mesmo profissionais sem experiência em ciência de dados, como pessoas de negócios, possam definir e validar o comportamento de seus agentes.
Otimização de Custos e Modelos com Evals
A centralização das evals no registry abre portas para otimizações significativas. Equipes de segurança podem usar esses packs para testar vulnerabilidades, inserindo prompts adversariais sem precisar se comunicar diretamente com os desenvolvedores dos agentes. Da mesma forma, equipes de finanças ou ciência de dados podem:
<ul><li><strong>Degradar modelos LLM:</strong> Testar agentes com LLMs mais baratos (ex: GPT-5.2 Nano em vez de GPT-5.2) e comparar os resultados das evals para encontrar um ponto de equilíbrio entre qualidade e custo.</li><li><strong>Fine-tuning de LLMs:</strong> Retreinar ou ajustar LLMs com dados internos da empresa e, em seguida, rodar todas as evals existentes no registry contra o novo modelo para identificar melhorias de performance e/ou custo sem exigir refatoração por parte das equipes de agentes.</li></ul>
Essas capacidades permitem uma melhor governança e uma busca contínua por eficiência, que se traduzem em vantagens competitivas para o mercado de TI brasileiro, especialmente em um cenário de custos de infraestrutura e modelos de IA flutuantes.
Perspectivas Futuras e o Espectro do Determinismo
A proposta de Jake Mannix representa um passo fundamental para profissionalizar o desenvolvimento de agentes de IA. Ele enfatiza que essas soluções táticas visam tirar a engenharia de agentes do “BASIC de 1975” e introduzir princípios sólidos de software, sem esperar por abordagens mais complexas como o CodeAct ou motores de workflow completos.
Do Config-Driven ao CodeAct: Uma Escala de Evolução
Mannix vê a evolução da engenharia de agentes como um espectro. De um lado, estão as Ferramentas Virtuais e as políticas configuráveis (config-driven), que oferecem um controle determinístico leve sem alterar drasticamente o MCP. No meio, estão soluções mais robustas como motores BPMN ou Temporal para workflows complexos. No outro extremo, está o CodeAct, onde LLMs escrevem código diretamente para orquestrar ferramentas, uma abordagem poderosa, mas ainda em estágios iniciais de aplicação em produção.
Impacto para o Desenvolvimento de Agentes no Brasil
Para o mercado de TI brasileiro, que adota tecnologias rapidamente e busca eficiência, as ideias de Mannix são particularmente relevantes. A capacidade de construir agentes de IA de forma mais modular, segura e testável pode acelerar a inovação em setores como e-commerce, finanças e logística, onde a Walmart Global Tech já atua. A padronização e o versionamento propostos facilitariam a colaboração entre equipes e a conformidade com regulamentações, enquanto a otimização de custos seria um diferencial competitivo em um ambiente econômico desafiador. Embora as “Ferramentas Virtuais” e o “Taint Tracking” sejam protótipos em fase inicial, sua implementação funcional em um fim de semana com LLMs demonstra o potencial de se tornar uma prática padrão em breve.
| Característica | MCP Tradicional (Copy-Paste) | Ferramentas Virtuais (Proposta Walmart Tech) |
|---|---|---|
| Abstração e Encapsulamento | Baixos, descrições diretas para o LLM. | Altos, via renomeação, projeção de esquema e composição. |
| Versionamento de Ferramentas | Inexistente, ferramentas dinâmicas. | Total, ferramentas virtuais versionadas em um registry. |
| Otimização de Contexto LLM | Limitada, todos os parâmetros expostos. | Alta, projeção seletiva de parâmetros e valores padrão. |
| Segurança (Taint Tracking) | Baseada na confiança do LLM. | Determinística, políticas aplicadas via rótulos de dados e proxy. |
| Composição de Ferramentas | Depende da capacidade do LLM. | Configurável (sequencial, paralelo, condicional). |
| Avaliação (Evals) | Responsabilidade fragmentada, difícil de gerenciar. | Centralizada via Eval Packs, otimização de custos e modelos. |
Arraste para o lado para ver toda a tabela.
Perguntas Frequentes (FAQ)
O que são Ferramentas Virtuais no contexto de agentes de IA?
Ferramentas Virtuais são uma camada intermediária que permite aos desenvolvedores de agentes renomear, reescrever descrições, projetar parâmetros e compor ferramentas subjacentes do Modelo de Protocolo de Contexto (MCP), aplicando princípios de abstração e encapsulamento da engenharia de software.
Como o Taint Tracking aumenta a segurança dos agentes de IA?
O Taint Tracking rotula dados com classificações de segurança (ex: PII) e aplica políticas determinísticas em tempo de execução ou construção. Isso impede que agentes utilizem ferramentas externas ou de risco quando há dados sensíveis no contexto, mitigando a exfiltração de dados e a “trifecta letal”.
Qual a importância de um Registry Corporativo para agentes de IA?
Um Registry Corporativo é essencial para armazenar e versionar Ferramentas Virtuais, políticas de segurança, configurações de LLMs e dependências. Ele garante estabilidade, reprodutibilidade, controle de qualidade e facilita a auditoria e a governança dos agentes em produção.
O que são Eval Packs e como eles beneficiam o desenvolvimento de agentes?
Eval Packs são conjuntos de datasets de avaliação, executores e configurações para comparar as saídas de agentes. Eles permitem a validação do comportamento do agente, otimizam custos (testando LLMs mais baratos) e facilitam o fine-tuning de modelos, distribuindo a capacidade de avaliação pela empresa.
A proposta da Walmart Global Tech substitui o MCP?
Não, a proposta de Jake Mannix não substitui o MCP. Ela adiciona uma camada de indireção (Ferramentas Virtuais via um MCP Gateway/Proxy) que estende e aprimora o uso do MCP, introduzindo abstração, encapsulamento, versionamento e segurança sem exigir a reescrita do framework existente.