O que a vaga pede
Engenheiro de Dados - Azure & Purview
Remoto
PJ
Estamos em busca de um Engenheiro de Dados Azure & Purview experiente para atuar em um projeto para cliente baseado nos EUA. O candidato ideal terá sólida experiência em engenharia de dados no Azure e vivência prática na construção de pipelines de dados escaláveis, integrando práticas de governança e conformidade de dados por meio do Microsoft Purview.
Responsabilidades
- Projetar, construir e manter pipelines de dados robustos no ecossistema Microsoft Azure.
- Desenvolver e gerenciar pipelines usando Azure Data Factory e/ou Microsoft Fabric.
- Construir e manter fluxos de processamento de dados usando notebooks do Azure Databricks e/ou Azure Synapse Analytics.
- Projetar e implementar camadas de Delta Lake e Arquitetura Medalhão dentro do Azure Data Lake Storage (ADLS).
- Ingerir e integrar dados de múltiplas fontes, incluindo bancos de dados, arquivos e APIs.
- Implementar implantações de pipelines de dados seguras, automatizadas e monitoradas, garantindo confiabilidade e escalabilidade.
- Implementar e operar o Microsoft Purview como parte da estratégia de plataforma de dados e governança.
- Registrar e escanear fontes de dados no Microsoft Purview.
- Configurar e manter classificações de dados e rótulos de sensibilidade.
- Curar e manter o glossário, catálogo e linhagem de dados.
- Integrar políticas de governança, conformidade e acesso aos pipelines de dados, garantindo que catalogação e conformidade permaneçam atualizadas conforme novos dados são ingeridos.
- Colaborar com stakeholders técnicos e de negócio para garantir que as soluções de dados atendam aos requisitos de governança, segurança e negócio.
Requisitos
- 4+ anos de experiência profissional em Engenharia de Dados ou funções similares.
- Forte experiência prática com serviços de dados da Microsoft Azure.
- Experiência com pipelines do Azure Data Factory e/ou Microsoft Fabric.
- Experiência com Azure Databricks e/ou Azure Synapse Analytics.
- Sólido conhecimento de Delta Lake e Arquitetura Medalhão.
- Experiência trabalhando com Azure Data Lake Storage (ADLS).
- Experiência prática com Microsoft Purview, incluindo registro de fontes, escaneamento, classificação, rotulagem de sensibilidade, gestão de glossário e linhagem de dados.
- Experiência integrando dados de bancos de dados, arquivos e APIs.
- Entendimento de governança de dados, segurança, controle de acesso e boas práticas de conformidade.
- Experiência implementando implantações de pipelines de dados automatizadas e monitoradas.
- Fortes habilidades de solução de problemas.
- Proficiência em inglês é obrigatória, já que a função envolve trabalho direto com cliente baseado nos EUA.