O que a vaga pede
Engenheiro(a) de Dados Pleno/Sênior
Sobre a GVC
A GVC Soluções em Cobrança, empresa do Grupo Rodobens, atua na prestação de serviços de cobrança de carteiras com garantia (imóveis e veículos).
O que você vai fazer
Desenvolver, manter e evoluir pipelines de dados (orquestração no Airflow/MWAA, Athena, Glue e Iceberg)
Manter a infraestrutura como código (CloudFormation/Terraform) e automatizar CI/CD
Atuar em FinOps: monitorar, analisar e otimizar custos na AWS
Fazer code review dos projetos de dados
Cuidar da observabilidade, da segurança e da confiabilidade do ambiente
Construir aplicações serverless e orientadas a eventos
Contribuir com propostas de melhoria na arquitetura
Stack e como você vai usá-la
MWAA (Airflow): desenvolver e manter centenas de DAGs em produção, muitas com atualização horária, cuidando de dependências, retries, performance e custo do ambiente
Athena: escrever e otimizar consultas SQL, trabalhar com tabelas Apache Iceberg (particionamento, compactação e manutenção) e reduzir o custo por volume escaneado
Glue: criar e manter jobs de ETL (PySpark) e crawlers
Glue Catalog: gerenciar schemas, databases e metadados do data lake
S3: organizar as camadas do data lake e configurar lifecycle policies, classes de armazenamento e permissões, inclusive o acesso entre contas
Compute e containers
ECS: implantar e manter serviços e tarefas em containers (Fargate), ajustando o dimensionamento e o custo
ECR: versionar imagens Docker e manter as políticas de retenção
Lambda: desenvolver funções para integrações, gatilhos e processamentos leves
EC2: administrar instâncias, fazer o right-sizing e avaliar Savings Plans e instâncias spot
Orquestração e eventos
Step Functions: orquestrar fluxos entre Lambdas, ECS e outros serviços, com tratamento de erros
EventBridge: criar regras, agendamentos e integrações orientadas a eventos
SQS: implementar filas, DLQs e processamento assíncrono desacoplado
SES: configurar e manter o envio de e-mails transacionais e de notificações
Integração e armazenamento
Transfer Family: manter servidores SFTP para a troca de arquivos com clientes e parceiros
DynamoDB: modelar tabelas NoSQL para controle de estado, metadados e baixa latência, otimizando capacidade e custo
Infraestrutura como código e CI/CD
CloudFormation/Terraform: provisionar e versionar toda a infraestrutura, evitando alterações manuais pelo console
CodeCommit: gerenciar repositórios, branches e pull requests, onde acontece o code review
CodeBuild: configurar builds, testes e a geração de imagens
CodePipeline: montar e manter pipelines de deploy automatizado entre ambientes
Segurança e configuração
Secrets Manager: gerenciar credenciais e a rotação de segredos
Parameter Store: centralizar as configurações das aplicações e dos pipelines
Cognito: gerenciar a autenticação e os usuários das aplicações internas
Entrega e observabilidade
CloudFront: distribuir aplicações web internas com cache, HTTPS e restrições de acesso
CloudWatch: criar métricas, logs, alarmes e dashboards, investigar incidentes e acompanhar os custos operacionais
Desenvolvimento assistido por IA
Kiro: usar o IDE de agentes da AWS no desenvolvimento orientado a especificações, gerando código, testes e documentação com revisão humana
Requisitos
Experiência sólida com engenharia de dados na AWS
Domínio de Python e SQL
Vivência com infraestrutura como código e pipelines de CI/CD
Experiência com otimização de custos em cloud
Experiência com code review e boas práticas de desenvolvimento
Autonomia para conduzir entregas do início ao fim
Diferenciais
Experiência com Apache Iceberg
Certificações AWS (Data Engineer, Solutions Architect ou DevOps)
Experiência com soluções de IA generativa (ex.: Bedrock)