Publicar Vaga Aplicar-se a Vaga
QUIMASSA

GREDISITA

Detalhes da Vaga:

Responsabilidades

  • Desenvolver, otimizar e manter pipelines de processamento de dados usando Apache Spark.

  • Implementar soluções de ingestão e transformação de dados em grande escala.

  • Trabalhar com equipes de engenharia de dados para integrar novas fontes de dados e aprimorar as existentes.

  • Garantir a qualidade, consistência e disponibilidade dos dados processados.

  • Realizar monitoramento e troubleshooting de jobs Spark, otimizando o desempenho e a utilização de recursos.

  • Participar da definição de arquiteturas de dados e estratégias de processamento distribuído.

  • Documentar processos, modelos de dados e fluxos de trabalho para garantir a manutenibilidade e escalabilidade.

Requisitos

  • Experiência comprovada (mínimo de 3 anos) com desenvolvimento e otimização de aplicações Apache Spark.

  • Proficiência em linguagens de programação como Scala ou Python para desenvolvimento Spark.

  • Conhecimento sólido em ecossistemas Hadoop (HDFS, YARN, Hive) e/ou ambientes de nuvem (AWS EMR, Databricks, GCP Dataproc).

  • Experiência com processamento de dados em batch e streaming (Spark Streaming, Kafka).

  • Familiaridade com bancos de dados NoSQL (Cassandra, MongoDB) e/ou SQL para integração de dados.

  • Entendimento de conceitos de data warehousing e data lakes.

  • Experiência com ferramentas de controle de versão (Git) e metodologias ágeis.

Habilidades

  • Apache Spark

  • Scala / Python

  • Hadoop Ecosystem

  • Spark Streaming

  • SQL / NoSQL

  • AWS EMR / Databricks

  • Data Lake Design

  • Kafka

  • Otimização de Performance

Aplicar-se via Whatsapp
Aplicar-se a Vaga
Via Recrutei
Logo QUIMASSA
Itaquaquecetuba (SP)

QUIMASSA

GREDISITA

#

R$ 3.623,00

CLT

Publicada há 11 horas

Compartilhar Vaga:
Aplicar-se via Whatsapp
Aplicar-se a Vaga

Vagas similares

Confira outras oportunidades que podem combinar com esta vaga.

Staffer Talentos e Técnologia
Analista de Automação Pleno

Staffer Talentos e Técnologia

Lorena, SP, Brasil

Não informado

  • CLT
Ver vaga
THERA CONSULTING
Analista de banco de dados Sênior

THERA CONSULTING

São Paulo, SP, Brasil

  • CLT
Ver vaga
GEX Corporation
Analista de Dados Sênior

GEX Corporation

  • Pessoa Jurídica
Ver vaga
FourHands Brasil
Coordenador de Business Intelligence (BI) - Presencial em Vitória ES com CLT de até 18k

FourHands Brasil

Vitória, ES, Brasil

Não informado

  • CLT
Ver vaga
inventCloud
Engenheiro(a) de Dados Sênior IA Sênior — Python | Microsoft Azure | RPA / Machine Learning

inventCloud

São Paulo, SP, Brasil

  • Pessoa Jurídica
Ver vaga
FourHands Brasil
Analista de Transformação Digital | IA - Híbrido em Vitória ES com CLT de até 12k

FourHands Brasil

Vitória, ES, Brasil

Não informado

  • CLT
Ver vaga

Não encontrou a vaga que queria?

Entre na nossa base e tenha seu perfil exposto a milhares de recrutadores por todo o Brasil

Ver Outras Vagas Cadastrar meu Perfil

Aprimorar Conhecimentos

Dê um up nas suas habilidades profissionais.

Aprimorar conhecimentos em Excel
Aprimorar conhecimentos em IA
Aprimorar conhecimentos em Vendas e Marketing