Engenheiro de Dados Sênior - UE

Descrição

Resumo: Procuramos um Engenheiro de Dados Sênior para construir pipelines de dados escaláveis, trabalhar com grandes conjuntos de dados e otimizar fluxos de trabalho de dados em um ambiente baseado em nuvem. Pontos de destaque: 1. Projetar, construir e manter pipelines de dados robustos (ETL/ELT) 2. Trabalhar com Databricks para processamento em larga escala de dados usando Spark e Delta Lake 3. Colaborar com equipes multifuncionais para garantir um processamento eficiente de dados Na **TechBiz Global**, prestamos serviços de recrutamento aos nossos principais clientes do nosso portfólio. Atualmente, procuramos um Executivo de Desenvolvimento de Negócios para integrar a equipe de um dos nossos **clientes**. Se você procura uma oportunidade empolgante para crescer em um ambiente inovador, esta pode ser a combinação perfeita para você. Procuramos um **Engenheiro de Dados Sênior** qualificado. Nesta função, você será responsável por construir pipelines de dados escaláveis, trabalhar com grandes conjuntos de dados e otimizar fluxos de trabalho de dados em um ambiente baseado em nuvem. Você colaborará de perto com equipes de dados e engenharia para garantir um processamento de dados eficiente e confiável. #### **Principais Responsabilidades** * Projetar, construir e manter pipelines de dados robustos (ETL/ELT) * Trabalhar com **Databricks** para processamento em larga escala de dados usando Spark e Delta Lake * Otimizar fluxos de trabalho de dados, desempenho e soluções de armazenamento de dados * Colaborar com equipes multifuncionais, incluindo analistas de dados, engenheiros e partes interessadas * Garantir qualidade, confiabilidade e escalabilidade dos dados em todos os sistemas * Contribuir para a melhoria contínua da arquitetura e dos processos de dados * Experiência sólida com **Databricks** (Spark / Delta Lake) * Domínio de **Python** para processamento de dados * Conhecimento avançado de **SQL** * Experiência prática no desenvolvimento de pipelines ETL/ELT * Experiência com pelo menos uma plataforma em nuvem (**AWS, Azure ou GCP**) * Familiaridade com **Git** e práticas básicas de CI/CD ### **Desejável** * Experiência com **dbt** * Conhecimento de tecnologias de streaming (por exemplo, Kafka ou similares) * Experiência com **Terraform** ou Infraestrutura como Código (IaC)