[Job - 30940] Sênior Data Developer (Dabricks / Azure), Brazil

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para integrar nossa equipe na gerência de Transformação de Cadastro de Clientes. Este profissional será fundamental para o desenvolvimento e manutenção de pipelines de dados em um ambiente Azure, utilizando as melhores práticas de engenharia de dados.

Responsabilidades e Atribuições

- Desenvolvimento de Pipelines: Criar e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.
- Automação de Deploys: Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
- Modelagem de Dados: Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.
- Migração para Cloud: Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
- Colaboração com Times: Trabalhar em conjunto com times de negócio e ciência de dados para o deploy de modelos de IA em ambiente cloud.
- Qualidade dos Dados: Garantir a qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
- Documentação: Documentar processos, arquiteturas e boas práticas de engenharia de dados.

Requisitos e Qualificações:

- Experiência sólida em Azure Data Services, Databricks e PySpark.
- Domínio de Python e SQL para manipulação e transformação de dados.
- Conhecimento em CI/CD e versionamento com GitHub.
- Domínio de processos de ETL/ELT.
- Experiência em modelagem de dados (conceitual, lógica e física).
- Atuação com Microsoft Azure: ADF, Synapse, Data Lake Storage e Spark.
- Familiaridade com Git/GitHub e Azure DevOps para versionamento e automação de deploys.
- Vivência em projetos de migração para cloud e integração de grandes volumes de dados.
- Desejável experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.

Como será o seu dia a dia:

- Desenvolver e manter pipelines/esteiras de dados em Azure com Databricks.
- Implementar pipelines automatizados para ingestão, transformação e disponibilização de dados.
- Garantir qualidade e governança dos dados em todo o ciclo.
- Colaborar com times multidisciplinares para evolução da arquitetura de dados.
- Tratar altos volumes de dados cadastrais.
- Monitorar indicadores e qualidade das entregas.
- Automatizar processos e consultas.
- Analisar dados para identificar problemas e propor soluções.

Diferenciais:

- Experiência em projetos de IA e automação de pipelines.
- Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.
- Participação em iniciativas de MDM (Master Data Management).
- Familiaridade com Databricks MLflow para gestão de modelos.
- Atuação em ambientes Data Lake e Data Warehouse.

#LI-DR3