[Job-31997] Senior Engenheiro(a) de Dados- Governança e Linhagem de Dados, Brasil

Estamos buscamos uma pessoa  Engenheira de Dados t para atuar em iniciativas de governança de dados dos nossos clientes. Esta posição é peça-chave para mapear, documentar e governar ambientes de dados complexos e em constante evolução, preparando-os para a adoção de IA em escala.

A pessoa atuará diretamente sobre pipelines, bancos de dados e códigos existentes. O trabalho inclui descobrir como os dados fluem entre sistemas, construir a linhagem de dados e de componentes de TI e incorporar a governança ao ciclo de desenvolvimento. Aqui, IA não é um complemento: agentes e LLMs fazem parte do dia a dia do trabalho, acelerando a análise de código, a geração de metadados e a documentação, sempre com olhar crítico e validação humana. A posição combina forte conhecimento técnico, domínio prático de ferramentas de IA e a capacidade de interpretar grandes bases de código com pouca documentação, além de trabalhar próximo aos times técnicos e às áreas de negócio.

Responsabilidades:

- Descoberta e Mapeamento de Dados: Airflow, scripts Python, metadados, functions, packages e views SQL (bancos relacionais) para construir um inventário completo dos ativos de dados, suas dependências e consumidores.
- Linhagem de Dados: construir e publicar a linhagem em nível de objeto, e posteriormente de coluna. A linhagem deve cobrir fluxos de dados e componentes de TI em PostgreSQL e Snowflake.
Integração com Catálogo de Dados: integrar os resultados do mapeamento ao OpenMetadata via API, incluindo metadados técnicos, linhagem e ownership.
- Governance as Code: implementar automações em pipelines de CI/CD que mantenham catálogo e linhagem atualizados a cada PR e deploy, em um ambiente com alto ritmo de mudanças.
- Qualidade de Dados: definir e implementar regras técnicas de data quality e monitoramento para tabelas críticas.
- Colaboração: trabalhar em conjunto com os times de dados, DevOps e plataforma do cliente e com os donos de dados de negócio
- Documentação: produzir documentação técnica clara de cada objeto de dados, com inputs, outputs, dependências e propósito.
- Powered by AI: utilizar agentes de IA e LLMs (Claude, OpenAI) para acelerar a análise de código, a geração de metadados e a documentação, sempre com validação humana.

Requisitos:
- Sólida experiência com Python e SQL avançado
- Experiência consistente com Apache Airflow (desenvolvimento e troubleshooting de DAGs)
- Experiência com PostgreSQL e Snowflake
- Experiência com AWS (RDS, EC2 e serviços relacionados)
- Experiência com Git e pipelines de CI/CD
- Experiência com LLMs ou agentes de IA aplicados a análise de código e automação (Claude, OpenAI, Bedrock, LiteLLM, MCP)
- Capacidade de ler, compreender e fazer engenharia reversa de pipelines e códigos existentes
- Entendimento de modelagem de dados, gestão de metadados e conceitos de linhagem de dados

Diferenciais:
- Experiência com OpenMetadata, DataHub, Collibra ou ferramentas de catálogo similares
- Experiência com Astronomer (Airflow gerenciado) ou migrações de Airflow
- Experiência no mercado financeiro ou em gestão de ativos (posições, risco, P&L, trades)
- Familiaridade com Arcesium, Bloomberg ou sistemas de gestão de portfólio
- Experiência com Trino e recursos de governança do Snowflake (Horizon, Data Sharing)
- Certificações em cloud ou engenharia de dados (AWS, Snowflake)
- Inglês intermediário/avançado (B2 ou superior)