O Google liberou a disponibilidade geral (GA) das funções de IA do AlloyDB e duas técnicas de aceleração que mudam a forma como bancos de dados interagem com LLMs: smart batching com ganho de 2.400x em vazão e um modelo proxy local que atinge 23.000x de melhoria e reduz custos em 6.000x, substituindo chamadas à Vertex AI por inferência no próprio banco.
Funções de IA permitem chamar LLMs diretamente em SQL no AlloyDB
Smart batching agrupa linhas para reduzir chamadas e melhora vazão em 2.400x
Modelo proxy aprende com uma amostra dos dados e executa localmente, atingindo 100 mil linhas/segundo
Aceleração de 23.000x e redução de custo de 6.000x valem para o ai.if em preview
Equipes devem fazer benchmark próprio antes de adotar em produção
O que são as funções de IA do AlloyDB
As funções de IA do AlloyDB permitem que desenvolvedores chamem grandes modelos de linguagem (LLMs) diretamente em consultas SQL padrão. A versão GA inclui ai.generate para geração de texto, ai.if para filtragem semântica, ai.rank para reordenação semântica, ai.forecast para previsão de séries temporais e três novas: ai.summarize, ai.agg_summarize para sumarização em nível de grupo e ai.analyze_sentiment.
Por executarem como operadores SQL comuns, uma query consegue filtrar linhas por significado, em vez de depender de correspondências rígidas de palavras-chave. Isso abre portas para análises mais inteligentes, como classificação de produtos, triagem de documentos e detecção de anomalias, tudo dentro do banco de dados.
O gargalo de chamar LLM linha a linha
O problema de invocar um LLM para cada linha é evidente em escala: uma tabela com 100.000 registros gera 100.000 idas e voltas à Vertex AI, cada uma enviando o mesmo prompt de sistema e pagando por token a cada chamada. A latência e o custo tornam a abordagem inviável para pipelines de dados ou aplicações com volumes elevados.
Para resolver isso, o AlloyDB introduziu duas camadas de aceleração: smart batching e modelo proxy, cada uma atuando em cenários distintos.
Smart batching: agrupar para reduzir chamadas
Disponível para as funções ai.if e ai.rank, o smart batching agrupa múltiplas linhas em uma única chamada ao modelo. Em vez de enviar o prompt de sistema a cada linha, o AlloyDB o envia uma vez e concatena os dados em lote. Segundo testes internos do Google, a vazão salta para até 10.000 linhas por segundo, uma melhoria de 2.400x em relação ao processamento linha a linha.
A técnica é direta e os ganhos são plausíveis quando o payload por linha é pequeno em comparação ao prompt. Ainda assim, o smart batching mantém a dependência do LLM externo – o banco continua a pagar por inferência remota.
Modelo proxy: a mudança arquitetural que dispensa o LLM em tempo de execução
O modelo proxy é a novidade mais disruptiva. Atualmente em preview para ai.if, ele introduz um fluxo em duas fases: primeiro, um comando PREPARE envia uma amostra dos dados ao modelo de fronteira (Vertex AI) e usa os resultados para treinar um modelo local leve dentro do banco de dados. Em seguida, as consultas são executadas com o proxy local, sem chamadas externas.
O AlloyDB recorre ao modelo de fronteira apenas se a confiança do proxy for muito baixa ou se não houver modelo treinado disponível. Segundo o Google, essa abordagem atinge vazão de 100.000 linhas por segundo – 23.000x acima do baseline e com redução de custo de 6.000x.
Arquitetonicamente, o padrão inverte a relação tradicional: o banco de dados deixa de ser um cliente que consulta um LLM externo e passa a ser um aluno que aprende o julgamento do modelo com uma amostra e depois replica esse julgamento localmente, em velocidade de banco. O LLM se torna um professor, não uma dependência de runtime.
Esse padrão pode influenciar concorrentes. Bancos como Aurora, Azure SQL, CockroachDB e PlanetScale precisarão decidir se adotam destilação em tempo de consulta similar ou se continuam delegando aos usuários a construção dessa lógica na camada de aplicação.
Cuidados e recomendações para adoção em produção
Os números de 23.000x e 6.000x vêm de testes internos do Google e se aplicam especificamente à função ai.if em preview – não representam o desempenho de todas as funções de IA. O modelo proxy ainda não está em GA. Equipes que avaliam o AlloyDB para cargas de IA devem realizar benchmarks com suas próprias distribuições de dados e padrões de consulta.
Raimundas Juodvalkis, arquiteto da Starburst, ofereceu um enquadramento prático no LinkedIn: "Trate as funções como extensões governadas do banco de dados, não como cláusulas WHERE mágicas." Ele recomenda começar com fluxos de leitura intensiva antes de escrever campos derivados do modelo de volta para sistemas centrais e monitorar o custo do modelo separadamente do custo da consulta.
Mais novidades: servidor MCP gerenciado e busca vetorial
O lançamento também inclui um servidor MCP (Model Context Protocol) gerenciado para o AlloyDB, permitindo que agentes de IA consultem o banco de dados sem que as equipes precisem executar e escalar sua própria infraestrutura MCP. Combinado com a busca vetorial existente baseada no índice ScaNN do Google (com suporte a até 10 bilhões de vetores), o AlloyDB se posiciona como um banco compatível com PostgreSQL onde consultas estruturadas, busca semântica e análise impulsionada por LLMs coexistem na mesma camada SQL.
As funções de IA estão em GA para instâncias PostgreSQL 17. O smart batching está em GA para ai.if e ai.rank. O modelo proxy otimizado para ai.if está em preview. A aceleração das funções de IA requer a ativação da flag google_ml_integration.enable_ai_function_acceleration e não vem habilitada por padrão.
| Técnica de aceleração | Vazão (linhas/s) | Ganho vs. linha a linha | Redução de custo | Disponibilidade |
|---|---|---|---|---|
| Linha a linha | 1 (baseline) | 1x | 0% | GA |
| Smart batching | 10.000 | 2.400x | Não divulgada | GA (ai.if, ai.rank) |
| Modelo proxy | 100.000 | 23.000x | 6.000x | Preview (ai.if) |
Arraste para o lado para ver toda a tabela.
Perguntas Frequentes (FAQ)
Quais funções de IA estão disponíveis no AlloyDB?
Além das já conhecidas ai.generate, ai.if e ai.rank, a versão GA inclui ai.forecast, ai.summarize, ai.agg_summarize e ai.analyze_sentiment, todas executáveis via SQL.
O modelo proxy funciona para todas as funções de IA?
Não. Atualmente, o modelo proxy está em preview apenas para a função ai.if. As demais funções podem se beneficiar do smart batching, mas ainda dependem de chamadas à Vertex AI.
Quanto custa usar as funções de IA do AlloyDB?
Os custos variam conforme o número de tokens processados e as chamadas à Vertex AI. O modelo proxy reduz drasticamente as chamadas (custo 6.000x menor nos testes), mas cada consulta ainda consome recursos do banco. É fundamental monitorar separadamente os custos de modelo e de query.
Preciso migrar para o PostgreSQL 17 para usar essas funções?
Sim, as funções de IA estão disponíveis apenas em instâncias do AlloyDB executando PostgreSQL 17. Além disso, é necessário habilitar a flag de aceleração.