Analista de Big Data Especialista

Descrição da Vaga:

Estamos em busca de um profissional altamente qualificado e apaixonado por Big Data para se juntar à nossa equipe de tecnologia. O candidato ideal será responsável por projetar, construir e manter nossas soluções de Big Data e Data Lake, garantindo a eficiência, confiabilidade e escalabilidade dos sistemas, além de atuar ao longo de todo o pipeline de processamento e análise de dados, inclusive na administração e gestão de dados, governança de dados, monitoramento e gestão de ferramentas especializadas.

Conhecimentos Técnicos Obrigatórios:

• Experiência prévia com engenharia de dados;
• Implantação, administração, otimização e troubleshooting de problemas com frameworks de Big Data em ambiente ON-PREMISES:

-Cluster Apache Hadoop (armazenamento distribuído com HDFS);

-Cluster Apache Spark;

-Construção da camada de armazenamento com Delta Lake (architecture medallion <bronze, silver, gold> sobre o HDFS);

-Apache Hive (como metadata dos objetos Delta Lake)Apache Presto (preferencialmente) ou Apache Trino como engrenagem de consultas (SQL like);

• Conhecimento aplicado em autenticação/segurança;
• Experiência em Delta Lake;
• Desenvolvimento em linguagem Python;
• Desenvolvimento em Pyspark (Apache Spark);
• Desenvolvimento em linguagem SQL (DDL, DML, DQL);
• Ter experiência com S.O. Linux (Red Hat Enterprise, Ubuntu Server)
• Ter experiência com containers (Dockerfile, build, run, compose, volumes, imagens);
• Ter experiência com Gitlab (ou outro versionador de código similar).

Conhecimentos Técnicos Desejáveis:

• Clickhouse (SGBD como Datawarehouse);
• Jupyter Hub;
• Processamento de informações geoespaciais com GeoPandas e Pyspark;
• Implantação, administração, otimização e troubleshooting do cluster manager Kubernetes (ON-PREMISES ou em cloud);
• Desenvolvimento de dashboards com Qlik Sense;
• Conhecimento em Kubernetes para administração e troubleshooting de problemas;
• Ter autogerenciamento;
• Saber estimar tarefas dentro do cenário atribuído;
• Ter boa comunicação;
• Saber negociar (prazos, expor cenários)
• Conhecimento da aplicação prática do SCRUM.

Formação:

Possuir diploma de ensino superior completo nas seguintes áreas de conhecimento (e suas subáreas), de acordo com a classificação da CAPES da plataforma Sucupira:

• Matemática (10100008).
• Probabilidade e Estatística (10200002).
• Ciência da Computação (10300007).
• Engenharias (30000009).
• Economia (60300000).
• Outra área com ênfase substancial em análise de dados