Como reduzir drasticamente os custos de inferência de modelos de linguagem

Meryem Arik apresenta estratégias para reduzir o custo de inferência de LLMs em até uma ordem de magnitude através de trade-offs inteligentes entre latência, qualidade e custo.

Muitas empresas estão pagando de 2x a 5x mais do que o necessário pela inferência de modelos de linguagem (LLM) por não alinharem sua arquitetura de inferência às prioridades de seus casos de uso. Quando o objetivo não é obter uma resposta instantânea, ou seja, baixa latência, mas sim processar grandes volumes de dados sem necessidade de execução em tempo real, é possível alcançar uma redução massiva de custos.

O Trilema da Inferência

A inferência de IA é um jogo de equilíbrio entre três pilares: baixa latência, baixo custo e alta qualidade. Para otimizar a operação para o menor custo possível, é necessário abrir mão da latência imediata. Esse modelo é ideal para fluxos de trabalho como processamento de dados, geração de dados sintéticos, sumarização e agentes autônomos que operam em segundo plano.

Estratégias de Otimização em Três Camadas

Para atingir o nível máximo de eficiência, os arquitetos de software devem atuar em três níveis principais.

1. Otimização de Hardware

Não basta escolher a GPU. É preciso entender a economia das unidades de computação. A migração para hardware de última geração, como a transição de H100 para B200, pode reduzir custos em até 75% mantendo a latência, devido à maior capacidade de processamento concorrente.

Além disso, a técnica de disaggregated serving permite executar a etapa de prefill, que é computacionalmente intensiva, em uma GPU otimizada para operações de ponto flutuante, enquanto o decoding, limitado principalmente pela largura de banda, é executado em outra GPU. Dessa forma, é possível maximizar o custo-benefício de cada componente da infraestrutura.

2. Otimização do Motor de Inferência (Runtime)

Um dos fatores mais impactantes é o tamanho do lote, conhecido como batch size. Como uma parcela significativa do custo da inferência está relacionada à movimentação de pesos e ao uso da memória da GPU, aumentar o número de requisições processadas simultaneamente permite diluir esse custo fixo.

Para reduzir o aumento da latência causado por lotes maiores, pode-se utilizar o Speculative Decoding. A técnica permite validar múltiplos tokens de uma vez, acelerando o processo de geração sem comprometer a qualidade do modelo principal.

3. Agendamento e Orquestração Inteligente

Em vez de provisionar infraestrutura para atender ao pico máximo de demanda, o que pode gerar desperdício de recursos, sistemas de baixo custo podem utilizar escalonamento baseado em filas.

Outra técnica poderosa é o Request Reordering por meio de prefixos comuns. Ao agrupar requisições que compartilham o mesmo contexto ou instrução inicial, o sistema pode reutilizar o cache, conhecido como KV Cache, para o preâmbulo. Isso reduz significativamente o custo de processamento dos tokens de entrada que são repetidos entre diferentes requisições.

Estudo de Caso: Viabilidade Econômica

Em um caso real de uma empresa de serviços financeiros, a transição de APIs de nuvem padrão para um sistema de inferência otimizado reduziu o custo anual de US$ 350.000 para apenas US$ 13.000.

Mais do que simplesmente gerar economia, a redução do custo por token permite que empresas aumentem significativamente seus volumes de processamento e viabilizem aplicações de IA que anteriormente seriam consideradas economicamente inviáveis.