A HubSpot compartilhou detalhes técnicos sobre a evolução de sua plataforma de busca semântica, que saltou de um conceito simples para um serviço interno robusto que sustenta mais de 38 equipes. O sistema, batizado de VaaS (Vector as a Service), opera hoje com mais de 20 bilhões de vetores, sendo essencial para as novas demandas de agentes de IA, RAG (Retrieval-Augmented Generation) e deduplicação de contatos.
Infraestrutura e o uso do Qdrant
A escolha do Qdrant como motor de busca vetorial não foi arbitrária. A HubSpot optou por rodar a tecnologia internamente para manter controle total sobre segurança, governança de dados e integração com suas ferramentas de tracing e monitoramento. O sistema lida atualmente com mais de 200 índices e picos de 100 mil requisições de escrita por segundo, distribuídos em cinco regiões globais.
Por que o Qdrant? A escolha priorizou recursos como busca híbrida, quantização para redução de custos, suporte a vetores nomeados e a possibilidade de rodar on-premises, garantindo flexibilidade técnica frente a soluções gerenciadas de nuvem.
Automação como pilar de escala
Um aprendizado central da HubSpot foi que a gestão manual não sobrevive ao crescimento exponencial. A equipe migrou de uma configuração baseada em Helm para um Kubernetes Operator personalizado. O novo modelo utiliza o conceito de Translators, que reconciliam o estado desejado e o real do cluster a cada 60 segundos.
"Manual operations don't survive growth." -- Oleg Tereshin e Xin Liu, engenheiros da HubSpot.
Essa mudança reduziu o tempo de provisionamento de clusters de horas para poucos minutos, eliminando a necessidade de clusters de standby e automatizando tarefas críticas como rebalanceamento de shards e recuperação de replicação.
Lições para engenharia de dados
O caso da HubSpot reflete uma tendência observada no mercado de vector search. A maturidade de sistemas baseados em vetores exige que a infraestrutura trate a confiabilidade como um recurso primário, similar ao que acontece com bancos de dados tradicionais. Fatores como o equilíbrio de shards para evitar o desvio de memória (memory skew) e a separação entre computação e armazenamento tornaram-se decisivos para manter a latência sob controle.
Para desenvolvedores e arquitetos que buscam escalar sistemas de busca, a mensagem é clara: o desafio de IA não está apenas na qualidade da recuperação (recall), mas na construção de uma camada de automação que mantenha a estabilidade diante do aumento da carga.
