Engenheiro(a) de Dados - São Paulo

Atribuições:  

O Engenheiro(a) de Dados Sênior será responsável por projetar, desenvolver e gerenciar soluções de dados em grande escala, com foco em arquitetura de dados do tipo medallion e pipelines de ETL. Profissional deverá ter um sólido entendimento das camadas de dados (bronze, silver e gold), garantindo a qualidade e a governança dos dados em cada etapa do processo. Além disso, será incentivado e treinado para se desenvolver na área de machine learning, sendo essencial que demonstre interesse em aprendizado contínuo e habilidades para colaborar com equipes de ciência de dados e engenharia de machine learning.

Principais Responsabilidades:

• Projetar e gerenciar a arquitetura medallion, implementando as camadas bronze, silver e gold para garantir a integridade, organização e qualidade dos dados.
• Desenvolver e otimizar pipelines de ETL/ELT para ingestão, transformação e processamento de dados em grande escala (Big Data), garantindo que estejam alinhados com as necessidades do negócio.
• Definir e implementar padrões de qualidade de dados, com práticas para validação, limpeza e monitoramento contínuo dos dados.
• Assegurar a governança e segurança dos dados em todas as camadas, garantindo conformidade com as políticas internas e regulatórias da empresa.
• Trabalhar com ferramentas e tecnologias de Big Data, como Spark, Hadoop, e Databricks, para manipular grandes volumes de dados e possibilitar análises em tempo real ou em batch.
• Participar do design e da implementação de soluções escaláveis, otimizadas para performance e resilientes a falhas.
• Colaborar com cientistas de dados e engenheiros de ML, oferecendo suporte para a disponibilização de dados de alta qualidade e estruturados nas camadas de ouro (gold) para análise avançada e modelos de machine learning.
• Participar de treinamentos e iniciativas para desenvolver conhecimento em machine learning, com objetivo de evoluir para o suporte a modelos e à criação de pipelines de dados voltados a ML no futuro.
• Demonstrar iniciativa para aprendizado e interesse na área de machine learning, contribuindo para a inovação e aplicando boas práticas que podem facilitar o trabalho em um ambiente integrado de ML e dados.
• Buscar melhorias contínuas nos processos e nas ferramentas utilizadas, com o intuito de promover maior eficiência e segurança nas operações de dados. 

Requisitos:

• Formação Superior na área completa;
• Experiência sólida em arquitetura de dados, com foco em arquitetura medallion e pipelines de ETL/ELT em ambientes de Big Data;
• Conhecimento das camadas de dados (bronze, silver e gold) e suas melhores práticas;
• Experiência com ferramentas e tecnologias de Big Data;
• Habilidade para garantir a qualidade e a governança dos dados em larga escala;
• Interesse e disposição para aprendizado na área de machine learning, com perfil proativo e orientado para inovação. 

Informações adicionais: Conhecimento 2x na semana no escritório - Próximo a ponte estaiada em SP. 

Aplicar-se a Vaga