[Job-31997] Senior Engenheiro(a) de Dados- Governança e Linhagem de Dados, Brasil

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Estamos buscamos uma pessoa Engenheira de Dados t para atuar em iniciativas de governança de dados dos nossos clientes. Esta posição é peça-chave para mapear, documentar e governar ambientes de dados complexos e em constante evolução, preparando-os para a adoção de IA em escala.

A pessoa atuará diretamente sobre pipelines, bancos de dados e códigos existentes. O trabalho inclui descobrir como os dados fluem entre sistemas, construir a linhagem de dados e de componentes de TI e incorporar a governança ao ciclo de desenvolvimento. Aqui, IA não é um complemento: agentes e LLMs fazem parte do dia a dia do trabalho, acelerando a análise de código, a geração de metadados e a documentação, sempre com olhar crítico e validação humana. A posição combina forte conhecimento técnico, domínio prático de ferramentas de IA e a capacidade de interpretar grandes bases de código com pouca documentação, além de trabalhar próximo aos times técnicos e às áreas de negócio.

Responsabilidades:

• - Descoberta e Mapeamento de Dados: Airflow, scripts Python, metadados, functions, packages e views SQL (bancos relacionais) para construir um inventário completo dos ativos de dados, suas dependências e consumidores.
• - Linhagem de Dados: construir e publicar a linhagem em nível de objeto, e posteriormente de coluna. A linhagem deve cobrir fluxos de dados e componentes de TI em PostgreSQL e Snowflake.
• Integração com Catálogo de Dados: integrar os resultados do mapeamento ao OpenMetadata via API, incluindo metadados técnicos, linhagem e ownership.
• - Governance as Code: implementar automações em pipelines de CI/CD que mantenham catálogo e linhagem atualizados a cada PR e deploy, em um ambiente com alto ritmo de mudanças.
• - Qualidade de Dados: definir e implementar regras técnicas de data quality e monitoramento para tabelas críticas.
• - Colaboração: trabalhar em conjunto com os times de dados, DevOps e plataforma do cliente e com os donos de dados de negócio
• - Documentação: produzir documentação técnica clara de cada objeto de dados, com inputs, outputs, dependências e propósito.
• - Powered by AI: utilizar agentes de IA e LLMs (Claude, OpenAI) para acelerar a análise de código, a geração de metadados e a documentação, sempre com validação humana.

• Requisitos:
• - Sólida experiência com Python e SQL avançado
• - Experiência consistente com Apache Airflow (desenvolvimento e troubleshooting de DAGs)
• - Experiência com PostgreSQL e Snowflake
• - Experiência com AWS (RDS, EC2 e serviços relacionados)
• - Experiência com Git e pipelines de CI/CD
• - Experiência com LLMs ou agentes de IA aplicados a análise de código e automação (Claude, OpenAI, Bedrock, LiteLLM, MCP)
• - Capacidade de ler, compreender e fazer engenharia reversa de pipelines e códigos existentes
• - Entendimento de modelagem de dados, gestão de metadados e conceitos de linhagem de dados

• Diferenciais:
• - Experiência com OpenMetadata, DataHub, Collibra ou ferramentas de catálogo similares
• - Experiência com Astronomer (Airflow gerenciado) ou migrações de Airflow
• - Experiência no mercado financeiro ou em gestão de ativos (posições, risco, P&L, trades)
• - Familiaridade com Arcesium, Bloomberg ou sistemas de gestão de portfólio
• - Experiência com Trino e recursos de governança do Snowflake (Horizon, Data Sharing)
• - Certificações em cloud ou engenharia de dados (AWS, Snowflake)
• - Inglês intermediário/avançado (B2 ou superior)