O que a vaga pede
Buscamos uma pessoa para atuar como Engenheiro(a) de Dados Pleno , sendo responsável por projetar, desenvolver e operar pipelines de dados robustos e escaláveis , que suportem tantas necessidades analíticas quanto operacionais da companhia. Essa posição terá papel importante na construção de soluções de consumo, processamento e disponibilização de dados para BI e produtos internos, garantindo qualidade, desempenho, segurança e governança.
É uma oportunidade para atuar em um ambiente com forte interação com tempos de produto e negócio, contribuindo para evolução da arquitetura de dados e sustentação de ambientes em produção. Experiência com Databricks e DataViz é essencial para a posição!
Quais serão suas responsabilidades?
- Projetar e implementar pipelines de ETL/ELT em lote e streaming para conversão, transformação e disponibilização de dados;
- Desenvolver soluções de back-end para processamento de dados em larga escala utilizando Spark, SQL e Python;
- Construir e manter estruturas de data lake/data lakehouse , modelos de dados e camadas de consumo;
- além de desempenho de jobs e consultas, incluindo tuning de Spark, SQL e clusters;
- Implementar práticas de qualidade de dados, como validações, testes automatizados, monitoramento e alertas;
- Integrar diferentes fontes de dados, como bancos relacionados, APIs, arquivos, mensagens e, quando aplicável, dados oriundos do Oracle ERP;
- Orquestrar pipelines usando ferramentas como Azure Data Factory ou similares;
- Atuar em parceria com analistas e times de produto para traduzir necessidades de negócio em soluções técnicas;
- Garantir segurança, compliance e boas práticas de governança de dados, considerando requisitos como LGPD , gestão de acessos e criptografia;
- Apoiar automatizações de implantação e operação com práticas de DevOps / CI-CD , além de documentação e participação em definições de arquitetura e governança.
O que é necessário para participar desse processo seletivo?
- Experiência prévia em engenharia de dados ou desenvolvimento back-end com foco em processamento de dados;
- Experiência com Databricks , especialmente com Workspace, Jobs e Delta Lake;
- Experiência prática com Apache Spark , Python e SQL em ambientes distribuídos;
- Experiência com bancos relacionais, data warehouses e integração de dados a partir de diferentes fontes;
- Conhecimento em data visualization;
- Conhecimento em ferramentas de orquestração como Azure Data Factory, Airflow, Prefect ou similares;
- Experiência em projetos em nuvem, especialmente Azure, e atuação em ambientes produtivos com alta disponibilidade;
- Familiaridade com práticas de CI/CD , versionamento com Git e qualidade/observabilidade de pipelines;
- Conhecimento em modelagem de dados dimensional e normalizada.