A DoorDash desenvolveu uma plataforma de moderação baseada em inteligência artificial capaz de processar milhões de mensagens por dia e reduzir em 50% os incidentes de abuso verbal em seu marketplace. O SafeChat combina modelos internos de baixa latência, LLMs para situações mais complexas e ações graduadas de acordo com a gravidade de cada caso.
• Redução de 50% nos incidentes de abuso verbal no marketplace.
• Arquitetura em camadas, combinando modelos internos e LLMs.
• Uso de pontuações de risco em vez de decisões exclusivamente binárias.
• Aplicação de ações graduadas conforme a gravidade da mensagem.
• Plataforma configurável que permite reutilizar a infraestrutura em diferentes tipos de conteúdo.
Como o SafeChat funciona na prática
O SafeChat foi projetado para resolver um problema difícil de moderação em tempo real: analisar milhões de mensagens sem transformar a experiência do usuário em uma operação lenta e cara.
# publicidade
O processo começa com uma etapa de preparação da mensagem, que remove anexos, saudações comuns e conteúdos que não precisam ser analisados. Em seguida, um modelo de machine learning desenvolvido internamente classifica a mensagem em menos de 100 milissegundos em cerca de 90% dos casos.
Quando a mensagem é considerada segura, ela segue imediatamente para o usuário. Quando existe algum nível de risco ou incerteza, a solicitação é encaminhada para uma segunda camada, baseada em um LLM capaz de realizar uma análise mais detalhada.
A arquitetura pode ser resumida em três camadas:
Camada | Função | Custo | Latência |
|---|---|---|---|
Modelo interno | Filtrar mensagens seguras ou de baixo risco | Baixo | Menos de 100 ms na maioria dos casos |
LLM | Analisar casos ambíguos e realizar avaliação multiaxial | Alto | 2 a 10 segundos |
Ação graduada | Aplicar medidas de acordo com a severidade identificada | Variável | Imediata |
Arraste para o lado para ver toda a tabela.
• Camada interna: modelos treinados internamente, rápidos e baratos para a maior parte das mensagens.
• Camada LLM: análise mais sofisticada para situações ambíguas ou complexas.
• Ação graduada: aplicação de medidas diferentes de acordo com a severidade identificada.
Menos de 10% das mensagens precisam chegar à segunda camada. Essa arquitetura permite reservar o modelo mais caro para os casos em que ele realmente agrega valor.
Por que usar apenas um LLM não funcionou
A ideia inicial era utilizar um LLM para decidir se cada mensagem era segura ou não. Embora a abordagem pudesse funcionar tecnicamente, ela apresentou dois problemas importantes para um sistema de comunicação em tempo real: latência e custo.
As chamadas ao LLM apresentavam tempos de resposta entre 2 e 10 segundos. Para uma experiência de chat, essa variação seria suficiente para prejudicar significativamente a interação entre usuários.
O custo também seria elevado. Com aproximadamente 4 milhões de mensagens processadas diariamente, enviar todas as solicitações para um modelo de linguagem mais caro tornaria a operação economicamente pouco eficiente.
• Latência: respostas de 2 a 10 segundos não são adequadas para determinadas experiências em tempo real.
• Custo: milhões de chamadas diárias a LLMs podem gerar despesas significativas.
• Escala: a maior parte das mensagens não apresenta comportamento problemático.
• Solução: utilizar modelos rápidos para filtrar a maioria dos casos e reservar os LLMs para situações complexas.
O aprendizado mais importante foi que a arquitetura não deveria começar pela escolha do modelo. Antes disso, a equipe precisava entender os próprios dados e descobrir qual porcentagem das mensagens realmente exigia uma análise mais sofisticada.
O modelo de pontuação torna a moderação mais flexível
Outro aspecto importante do SafeChat é evitar que a moderação seja tratada apenas como uma decisão binária entre “permitir” e “bloquear”. Em vez disso, o sistema trabalha com diferentes níveis de risco.
Essa abordagem permite que a plataforma diferencie uma mensagem levemente inadequada de uma ameaça grave, por exemplo. Cada situação pode receber uma resposta proporcional ao risco identificado.
Na prática, isso permite combinar diferentes ações, como permitir a mensagem, sinalizá-la para análise, ocultar determinado conteúdo, aplicar uma penalidade ou bloquear uma interação.
Essa granularidade também ajuda a reduzir falsos positivos, um dos problemas mais difíceis em sistemas automatizados de moderação.
De uma solução para chat a uma plataforma de moderação
Depois dos resultados obtidos com o SafeChat, outras equipes da DoorDash passaram a demonstrar interesse na mesma infraestrutura. Surgiram casos de uso envolvendo fotos de perfil, nomes de usuários, avaliações e outros conteúdos publicados na plataforma.
Em vez de desenvolver sistemas independentes para cada situação, a equipe transformou a arquitetura em uma plataforma de moderação mais genérica.
A plataforma não precisa compreender profundamente o contexto de cada aplicação. Sua função é coordenar os modelos, fornecedores externos, regras, políticas, respostas e registros das decisões.
• Modelos internos: usados quando velocidade e baixo custo são prioridades.
• Modelos externos: utilizados quando uma capacidade especializada é necessária.
• LLMs: aplicados em casos que exigem interpretação mais sofisticada.
• Fallback e retry: mecanismos para lidar com falhas e indisponibilidade de serviços.
• Configuração: equipes podem definir políticas de moderação sem reconstruir toda a infraestrutura.
Essa separação permite que novos casos de uso sejam incorporados sem criar novamente todo o pipeline de processamento.
O que a arquitetura da DoorDash ensina sobre IA em produção
O caso do SafeChat mostra que utilizar o maior modelo disponível nem sempre é a melhor estratégia para aplicações de inteligência artificial em produção.
Em sistemas de alto volume, a arquitetura pode ser mais importante do que o modelo individual. Um modelo pequeno e rápido pode resolver a maioria das solicitações, enquanto um modelo mais poderoso fica reservado para os casos que realmente precisam de maior capacidade de raciocínio.
Esse princípio pode ser aplicado a diferentes sistemas baseados em IA, como detecção de fraude, classificação de documentos, análise de suporte ao cliente, segurança e processamento de conteúdo.
A lógica é simples: primeiro resolver o maior volume de casos com a alternativa mais eficiente e depois utilizar modelos mais caros apenas quando necessário.
Por que entender os dados vem antes de escolher o modelo
Um dos principais aprendizados do projeto é que a engenharia de IA começa muito antes da implementação do modelo.
Se a equipe não conhece a distribuição dos dados, os tipos de erros, a frequência dos casos extremos e o impacto de cada decisão, existe o risco de construir uma infraestrutura muito mais cara e complexa do que o necessário.
No caso da DoorDash, a análise mostrou que apenas uma pequena parcela das mensagens precisava de uma avaliação mais sofisticada. Essa descoberta tornou possível criar uma arquitetura híbrida capaz de equilibrar custo, velocidade e qualidade.
Para empresas que estão implementando IA em grande escala, essa abordagem pode representar uma diferença significativa no custo operacional.
Como esse padrão pode ser aplicado no Brasil
A mesma arquitetura pode ser útil para empresas brasileiras que operam marketplaces, fintechs, aplicativos, redes sociais, plataformas de atendimento ou serviços digitais.
Um marketplace, por exemplo, pode utilizar um modelo rápido para classificar mensagens de vendedores e compradores, enquanto um LLM seria acionado apenas quando houver sinais de fraude, ameaça, assédio ou outro comportamento que exija interpretação contextual.
Em vez de bloquear automaticamente qualquer conteúdo considerado suspeito, a empresa pode estabelecer diferentes níveis de resposta de acordo com o risco.
• Escala: milhões de mensagens exigem uma arquitetura que mantenha o custo sob controle.
• Latência: interações em tempo real precisam de modelos rápidos para a maioria dos casos.
• Precisão: casos ambíguos podem ser encaminhados para modelos mais sofisticados.
• Governança: diferentes níveis de risco permitem aplicar políticas proporcionais.
• Experiência: reduzir falsos positivos evita bloquear usuários e conteúdos legítimos.
Resultados do SafeChat
A DoorDash registrou uma redução de 50% nos incidentes de abuso verbal após a implementação do SafeChat. O resultado demonstra que a combinação de modelos especializados e decisões graduadas pode ser mais eficiente do que depender exclusivamente de um LLM.
O sistema também estabeleceu uma base reutilizável para outros tipos de conteúdo e problemas de segurança dentro da plataforma.
O próximo passo é ampliar esse tipo de arquitetura para novos cenários, incluindo detecção de fraude em chats e chamadas e outras situações nas quais decisões automatizadas precisam acontecer rapidamente.
O futuro da moderação de conteúdo com IA
O SafeChat representa uma tendência importante na engenharia de inteligência artificial: sistemas de produção não precisam escolher entre modelos tradicionais e LLMs. É possível combinar diferentes tecnologias em uma arquitetura na qual cada componente executa a tarefa para a qual apresenta melhor relação entre custo, velocidade e capacidade.
Para aplicações que processam milhões de eventos, essa abordagem pode ser especialmente importante. Em vez de enviar tudo para o modelo mais poderoso, a empresa pode construir uma cadeia de decisão capaz de resolver rapidamente os casos simples e utilizar inteligência mais avançada apenas quando necessário.
Mais do que uma solução específica para moderação, o padrão adotado pela DoorDash mostra como empresas podem projetar sistemas de IA mais eficientes, escaláveis e preparados para operar em produção.
