Na KubeCon & CloudNativeCon Europe, Whitney Lee e Viktor Farcic argumentaram que agentes de IA são a próxima revolução das plataformas internas de desenvolvimento, combinando busca semântica, guardrails e observabilidade por traces.
- Agentes de IA estão substituindo portais como Backstage como interface das plataformas internas de desenvolvimento
- A qualidade da busca semântica depende dos dados e do chunking, não do modelo de embedding ou do banco vetorial
- Traces são a única evidência do comportamento de agentes, que não são reproduzíveis como aplicações tradicionais
- OpenTelemetry já tem convenções semânticas para GenAI e integra com Jaeger, Grafana Tempo, Prometheus, Loki e plataformas comerciais
- Traces reais de produção são o melhor conjunto de avaliação para agentes, segundo Viktor Farcic
Por que agentes substituem portais como o backstage?
Viktor Farcic argumentou que agentes são a próxima revolução das plataformas: onde antes o desenvolvedor usava o Backstage, agora interage com um agente que combina entrada, contexto do sistema e ferramentas via LLM.
A busca semântica alimenta o agente com fontes como Git, pull requests, Slack, Jira, wikis e transcrições de Zoom, onde mora o conhecimento vivo da organização.
- Git: manifests e código reais
- Slack: explicações informais de decisões
- Jira: tickets com contexto de negócio
- Zoom: decisões de design em reuniões
Como obter bons resultados com busca semântica?
Para Farcic, o modelo de embedding e o banco vetorial são commodities: a qualidade vem do que entra no índice e de como é fatiado. Documentação isolada, chunks gigantes e índices desatualizados são os principais erros.
Ele também defende não indexar estado de cluster, que muda a cada segundo, e medir a recuperação pelos traces: quando a resposta falha, o retrieval costuma ser o culpado.
# publicidade
Por que traces são a única prova do que o agente fez?
Diferente de aplicações tradicionais, agentes não reproduzem falhas com a mesma entrada: a mesma pergunta gera caminhos distintos. O trace é, portanto, a única evidência do que aconteceu.
Em escala, segundo Whitney Lee, os traces viram descoberta de plataforma: revelam o que os desenvolvedores tentam realizar e onde melhorar a experiência.
Quais ferramentas capturam a telemetria de agentes?
O OpenTelemetry possui convenções semânticas para GenAI, com spans de chamadas de modelo, tokens e ferramentas, e envia dados para Jaeger, Grafana Tempo, Prometheus e Loki, além de Datadog, Honeycomb, Dynatrace e Elastic.
| Tipo de telemetria | Ferramentas open-source | Plataformas comerciais |
|---|---|---|
| Traces | Jaeger, Grafana Tempo | Datadog, Honeycomb, Dynatrace, Elastic |
| Métricas | Prometheus | Datadog, Dynatrace |
| Logs | Loki | Elastic, Datadog |
Arraste para o lado para ver toda a tabela.
Farcic recomenda usar traces reais de produção como conjunto de avaliação, superiores a qualquer conjunto inventado em reunião.
Leia também:
Fonte: Infoq
