Engenheiro de Dados

Descrição

Resumo: Junte-se à Magic Beans, uma empresa especializada em consultoria, como Engenheiro de Dados, trabalhando com clientes de alto nível e tecnologias de nuvem e dados de ponta. Principais destaques: 1. Desenvolva sua carreira como Engenheiro de Dados 2. Trabalhe com clientes de alto nível e tecnologias de ponta 3. Fomente uma cultura de apreciação e crescimento contínuo **Descrição:** ---------------- A **Magic Beans** é uma empresa especializada em consultoria dedicada a ajudar organizações a adotarem e otimizarem tecnologias em nuvem. Com escritórios em Lisboa, Óbidos, Bruxelas, Madri e Barcelona, buscamos profissionais ambiciosos que desejam desenvolver suas carreiras como **Engenheiros de Dados**, enquanto trabalham com clientes de alto nível e tecnologias de nuvem e dados de ponta. Na Magic Beans, ótimas pessoas impulsionam nosso sucesso. Fomentamos uma cultura de apreciação, reconhecimento e crescimento contínuo. **Junte-se à nossa equipe e cresça conosco!** **Suas principais responsabilidades incluirão:** * **Compreensão do Cliente e do Negócio**, envolvendo-se diretamente com os clientes para entender seu contexto empresarial, processos, restrições e pontos críticos, traduzindo-os em requisitos claros de dados, análise e plataforma; * **Realização de avaliações de dados** (maturidade, arquitetura, qualidade, governança e lacunas) e conversão dessas conclusões em recomendações acionáveis e roteiros de implementação escaláveis; * **Projeto e Arquitetura de Soluções**, projetando arquiteturas de dados ponta a ponta que abranjam camadas de ingestão, armazenamento, transformação, modelagem e disponibilização para casos de uso em análise, BI e IA, aproveitando padrões modernos de lakehouse; * **Tradução de necessidades empresariais em soluções técnicas**, definindo arquiteturas robustas, escaláveis e preparadas para o futuro, alinhadas aos objetivos, restrições e melhores práticas dos clientes; * **Projeto e implementação** de plataformas de dados escaláveis usando Databricks e serviços nativos de dados em nuvem nas plataformas AWS, Azure ou GCP; * **Apoio aos clientes na definição** de estruturas de governança de dados, incluindo catálogos de dados, gerenciamento de acessos, padrões de qualidade de dados e práticas de rastreabilidade; * **Entrega de Engenharia de Dados**, projetando, desenvolvendo e implantando pipelines ETL/ELT escaláveis e confiáveis em ambientes em nuvem; * **Construção e otimização** de fluxos de trabalho de dados usando Databricks, Apache Spark e serviços nativos de orquestração em nuvem, garantindo desempenho, eficiência de custos e escalabilidade; * **Implementação de modelos de dados** (por exemplo, esquemas em estrela, arquitetura em medalhões e padrões de lakehouse) para suportar cargas de trabalho de análise, relatórios e aprendizado de máquina; * **Garantia da qualidade**, integridade, rastreabilidade e documentação dos dados em todas as soluções entregues, seguindo as melhores práticas em governança e observabilidade; * **Contribuição para engenharia de plataformas e práticas DevOps**, incluindo infraestrutura como código (IaC), pipelines CI/CD e automação de implantação. **Requisitos:** ----------------- **Habilidades Obrigatórias** * Pelo menos 3 anos de experiência em funções de Engenharia de Dados, Engenharia de Plataformas de Dados ou Engenharia em Nuvem; * Experiência sólida com principais plataformas em nuvem (AWS, Azure ou GCP) e seus ecossistemas de dados (por exemplo, Glue, ADF, BigQuery, Redshift, Synapse, Databricks); * Experiência prática com Databricks, incluindo notebooks, workflows, Delta Lake e processamento baseado em Spark; * Conhecimento avançado de Apache Spark e conceitos de processamento distribuído de dados; * Domínio sólido de SQL e experiência com plataformas de dados relacionais e analíticas; * Habilidades avançadas de programação em Python (preferencialmente) e PySpark; * Experiência no projeto e implementação de pipelines ETL/ELT e fluxos de trabalho de transformação de dados; * Capacidade comprovada de projetar arquiteturas de dados ponta a ponta e traduzir requisitos empresariais em soluções técnicas escaláveis; * Experiência com técnicas de modelagem de dados (por exemplo, esquema em estrela, arquitetura em medalhões, padrões de lakehouse); * Familiaridade com ferramentas e práticas DevOps (Terraform, Docker, pipelines CI/CD); * Excelentes habilidades analíticas, de resolução de problemas e de comunicação com clientes. **Habilidades Desejáveis** * Certificações Databricks (por exemplo, Data Engineer Associate/Professional); * Experiência com ferramentas de orquestração de dados (Airflow, Glue, ADF, MWAA); * Conhecimento de ferramentas de BI (Power BI, Tableau, QuickSight); * Experiência em habilitação de ML/IA (feature stores, camadas de serviço, ambientes de notebooks); * Experiência com ferramentas de qualidade e observabilidade de dados (por exemplo, Great Expectations, DataFold, Soda); * Compreensão de estruturas de governança de dados e conformidade (ISO 27001, GDPR); * Experiência em ambientes voltados ao cliente ou de consultoria.