A Canva, plataforma líder em design gráfico, revelou uma nova abordagem para a gestão de revogação de sessões, utilizando o Amazon S3 como pilar de uma arquitetura que suporta centenas de milhões de sessões ativas. O novo sistema elimina a necessidade de consultas em bancos de dados em rede para a maioria das solicitações de autenticação, resultando em ganhos significativos de desempenho e eficiência.
- A Canva revolucionou a revogação de sessões para milhões de usuários com uma arquitetura inovadora baseada em Amazon S3.
- A nova abordagem reduziu o footprint de memória do cache de revogação em 87.5% e melhorou a velocidade de implantação.
- Dados de revogação são armazenados em S3 como registros compactos de 16 bytes e distribuídos como índices em memória para gateways.
- A carga no banco de dados tornou-se mais previsível, escalando com o throughput de escrita e tráfego, em vez de depender do número de instâncias de gateway.
- A escolha do S3 sobre Redis e a manutenção de dados em memória foram estratégias para evitar sobrecarga de banco de dados e garantir alta disponibilidade.
A necessidade de escala: os desafios anteriores da canva<\/h2>
A Canva enfrentava um gargalo significativo em sua infraestrutura de revogação de sessões. Com centenas de milhões de sessões ativas, a abordagem anterior, que dependia de consultas a um banco de dados MySQL em rede para a maioria das verificações de autenticação, tornava-se insustentável.
Durante implantações, centenas de instâncias de gateway podiam, cada uma, solicitar mais de um milhão de revogações, gerando uma carga coordenada e massiva no banco de dados. Embora as informações de sessão fossem armazenadas em cookies de navegador criptografados, a necessidade de refletir revogações e alterações de permissão em tempo quase real exigia uma solução mais robusta e eficiente.
# publicidade
Revolucionando a revogação com Amazon s3<\/h2>
Em busca de uma solução, a Canva optou por redesenhar completamente sua arquitetura de revogação, escolhendo o Amazon S3 em vez de operar um novo datastore como o Redis. A nova arquitetura armazena os dados de revogação no S3 como registros compactos e imutáveis, distribuindo-os para os gateways de aplicação como índices em memória. Essa abordagem transformadora trouxe melhorias notáveis:
- **Registros Compactos:** Cada revogação é representada como um registro binário de 16 bytes, contendo um principal e um timestamp.
- **Particionamento Inteligente:** A janela de revogação de 12 horas é dividida em objetos S3 de 30 minutos, que os gateways baixam conforme a necessidade.
- **Buscas Eficientes:** Arrays ordenados permitem buscas diretas em memória, otimizando o acesso aos dados.
- **Atualizações Otimizadas:** Gateways utilizam requisições `Conditional GET` para baixar apenas os blocos alterados e descartam dados mais antigos que 12 horas.
- **Processamento Assíncrono:** Workers assíncronos escaneiam por novas revogações no banco de dados, as mesclam no bloco mais recente e carregam o resultado para o S3.
- **Controle de Concorrência:** `Conditional PUTs` fornecem controle de concorrência otimista quando workers atualizam o mesmo objeto, com o ZooKeeper atuando na eleição de líderes para reduzir conflitos, embora não seja estritamente necessário para a correção.
Resultados e benefícios tangíveis<\/h2>
A migração para a arquitetura baseada em S3 trouxe uma série de benefícios operacionais e de performance para a Canva. A empresa conseguiu reduzir o footprint de memória de seu cache de revogação em impressionantes 87.5%. Além disso, a velocidade de implantação foi significativamente aprimorada, e a infraestrutura de banco de dados para revogação foi drasticamente simplificada, exigindo agora apenas duas réplicas de leitura para redundância.
A carga no banco de dados tornou-se mais previsível, escalando com o throughput de escrita de revogações e o tráfego geral do site, em vez de ser impactada pelo número de instâncias de gateway que carregam o cache. A capacidade de um gateway reconstruir seu estado de revogação local baixando os blocos relevantes do S3, sem depender de um banco de dados para reconstruir o cache, também aprimorou a resiliência e a velocidade de recuperação. Os workers conseguem processar mais de 2.000 revogações por segundo, superando as expectativas de requisitos.
Perspectivas e discussões da comunidade<\/h2>
A decisão da Canva de usar o S3 de forma tão inovadora gerou discussões na comunidade de engenharia. Adam Urban, engenheiro de software, destacou o uso do Amazon S3 como mais do que um simples armazenamento de objetos, apontando para seus objetos imutáveis e writes condicionais como primitivos de coordenação.
No Reddit, uma discussão levantou a alternativa de usar esquemas de refresh token com tempo de vida curto para access tokens e armazenar refresh tokens em um banco de dados. No entanto, Llew Vallis, engenheiro da Canva, explicou que manter os dados de revogação em memória oferecia melhores tradeoffs, pois frequentes atualizações de token aumentariam a carga do banco de dados e tornariam a disponibilidade dependente do banco de dados durante as operações de refresh. Testar múltiplas implementações em infraestruturas reais foi crucial para validar que o design escolhido atenderia aos requisitos de escalabilidade da Canva.
Perguntas frequentes (faq)<\/h2>
Qual foi o principal problema que a canva enfrentou com a revogação de sessões?<\/h3>
O principal problema era a escalabilidade da revogação de sessões para centenas de milhões de usuários. A arquitetura anterior, baseada em consultas MySQL, gerava uma carga massiva e coordenada no banco de dados, especialmente durante implantações, tornando-se insustentável.
Como a canva resolveu o problema de escalabilidade da revogação de sessões?<\/h3>
A Canva redesenhou sua arquitetura usando Amazon S3. Os dados de revogação são armazenados no S3 como registros compactos e imutáveis, e distribuídos para os gateways como índices em memória, eliminando a necessidade de consultas frequentes a bancos de dados em rede.
Quais foram os benefícios da nova arquitetura baseada em s3?<\/h3>
A nova arquitetura resultou em uma redução de 87.5% no footprint de memória do cache de revogação, melhoria significativa na velocidade de implantação, infraestrutura de banco de dados simplificada (apenas duas réplicas de leitura), e carga de banco de dados mais previsível e escalável.
Por que a canva escolheu s3 em vez de Redis para essa solução?<\/h3>
A Canva optou pelo Amazon S3 para evitar a operação de um novo datastore, como o Redis, e para aproveitar o armazenamento durável do S3 para os dados de revogação. A empresa também considerou que manter os dados de revogação em memória oferecia melhores tradeoffs, evitando o aumento da carga do banco de dados com refresh tokens frequentes.
