O que a vaga pede
Buscamos um(a) Engenheiro(a) de Dados para atuar em um cliente da área da saúde para implementar pipelines no ambiente GCP usando Composer, Dataproc e BigQuery. Entre os principais desafios, deve definir e implementar pipelines de arquitetura de dados, importação, armazenamento, processamento e visualização.
Requisitos
- Obrigatório: Experiência em desenvolvimento de pipelines de ELT/ETL, PySpark, SQL, GCP (Airflow/Composer, Dataproc e Bigquery), Apache Spark e Python.
- Familiaridade com práticas de processamento em Batch e Streaming.
- Superior completo em Ciência da Computação, Sistemas de Informação, TI e áreas afins.
- Pró-atividade, capacidade de trabalhar em equipe, organização, planejamento e respeitar prazos.
- Desejável: Certificação GCP Data Engineer.
Atribuições
- Desenvolver pipelines de processamento de dados para ingestão, transformação e carga em tempo hábil e eficiente.
- Implementar e manter integração contínua, visando à automação de processos e melhoria de desempenho.
- Colaborar ativamente com o time multidisciplinar para entender as demandas de dados e entregar soluções alinhadas com as necessidades do negócio.
- Realizar análises de performance dos processos e propor otimizações.