[Job-30938] Mid-Level Data Engineer | Engenharia de Dados, Brazil

Responsabilidades:

• Modelar, estruturar e manter tabelas com métricas voltadas para desempenho, uso e disponibilidade de sistemas;
• Criar e manter pipelines e scripts de dados, seguindo boas práticas de modelagem e arquitetura;
• Efetuar monitoramento e sustentação de pipelines de dados, aplicando melhorias e correções quando necessário;
• Definir e implementar boas práticas de qualidade, versionamento e documentação dos pipelines;
• Trabalhar em parceria com times de produto, apoiando na tradução de necessidades de negócio em soluções de dados.

Requisitos:

• Experiência prática com engenharia de dados e construção de pipelines, em ferramentas como Databricks, Apache NiFi ou similares;
• Experiência com Python e/ou PySpark para desenvolvimento de scripts de ingestão e transformação;
• Bom domínio de SQL para manipulação, transformação e análise de dados;
• Conhecimento em alguma ferramenta de orquestração de pipelines, como Azure Data Factory (ADF), Apache Airflow ou similares;
• Conhecimento em modelagem de dados para Analytics e BI (Star Schema, tabelas Fato e Dimensão);
• Noções de arquitetura em camadas (Bronze, Silver, Gold) e Delta Lake, bem como operações básicas de MERGE/UPSERT;
• Experiência com qualidade de dados (regras de validação, checagens, monitoração básica);
• Vivência com CI/CD para dados (Azure DevOps, GitHub Actions) e versionamento de código (Git).

Diferenciais:

• Experiência prática com Databricks (Spark, PySpark ou Spark SQL);
• Conhecimento em recursos avançados de Delta Lake (time travel, schema evolution, otimização de performance);
• Vivência em streaming de dados (Apache Kafka, Spark Structured Streaming, Azure Event Hubs ou similares);
• Vivência em projetos de dados de maior escala (volumetria significativa, múltiplas fontes, requisitos de performance);
• Experiência com ferramentas de BI (Power BI, Metabase ou similares) para validação e exploração de indicadores;
• Vivência em ferramentas de catálogo e governança de dados (Azure Purview, Atlan ou similares);
• Conhecimento em KPIs e indicadores do setor financeiro (bancário ou serviços financeiros);
• Certificações relevantes em Azure ou Databricks.