Engenheiro de Dados

Descrição

Resumo: A Magic Beans procura engenheiros de dados ambiciosos para trabalhar com clientes de primeira linha e tecnologias de nuvem e dados de ponta, promovendo um crescimento contínuo e uma cultura de apreciação. Pontos de destaque: 1. Trabalhar com clientes de primeira linha e tecnologias de nuvem e dados de ponta 2. Interagir diretamente com os clientes para traduzir necessidades empresariais em soluções de dados 3. Projetar e implementar plataformas de dados escaláveis utilizando Databricks e serviços em nuvem **Descrição:** ---------------- A **Magic Beans** é uma empresa especializada em consultoria dedicada a ajudar organizações a adotarem e otimizarem tecnologias em nuvem. Com escritórios em Lisboa, Óbidos, Bruxelas, Madri e Barcelona, procuramos profissionais ambiciosos que desejam desenvolver suas carreiras como **Engenheiros de Dados**, trabalhando com clientes de primeira linha e tecnologias de nuvem e dados de ponta. Na Magic Beans, pessoas excepcionais impulsionam nosso sucesso. Cultivamos uma cultura de apreciação, reconhecimento e crescimento contínuo. **Junte-se à nossa equipe e cresça conosco!** **Suas principais responsabilidades incluirão:** * **Compreensão do Cliente e do Negócio**, interagindo diretamente com os clientes para compreender seu contexto empresarial, processos, restrições e pontos críticos, e traduzindo esses elementos em requisitos claros de dados, análise e plataforma; * **Realização de avaliações de dados** (maturidade, arquitetura, qualidade, governança e lacunas) e conversão dos achados em recomendações acionáveis e roteiros de implementação escaláveis; * **Projeto e Arquitetura de Soluções**, projetando arquiteturas de dados extremo a extremo que abrangem as camadas de ingestão, armazenamento, transformação, modelagem e disponibilização para casos de uso de análise, BI e IA, aproveitando padrões modernos de lakehouse; * **Tradução de necessidades empresariais em soluções técnicas**, definindo arquiteturas robustas, escaláveis e preparadas para o futuro, alinhadas aos objetivos, restrições e melhores práticas dos clientes; * **Projeto e implementação** de plataformas de dados escaláveis utilizando Databricks e serviços nativos de dados em nuvem nas plataformas AWS, Azure ou GCP; * **Apoio aos clientes** na definição de estruturas de governança de dados, incluindo catálogos de dados, gerenciamento de acessos, padrões de qualidade de dados e práticas de rastreabilidade (data lineage); * **Entrega de Engenharia de Dados**, projetando, desenvolvendo e implantando pipelines ETL/ELT escaláveis e confiáveis em ambientes em nuvem; * **Construção e otimização** de fluxos de trabalho de dados utilizando Databricks, Apache Spark e serviços nativos de orquestração em nuvem, garantindo desempenho, eficiência de custos e escalabilidade; * **Implementação de modelos de dados** (por exemplo, esquemas em estrela, arquitetura em medalhões e padrões lakehouse) para suportar cargas de trabalho de análise, relatórios e aprendizado de máquina; * **Garantia da qualidade, integridade, rastreabilidade (lineage) e documentação** de todos os dados nas soluções entregues, seguindo as melhores práticas em governança e observabilidade; * **Contribuição para práticas de engenharia de plataformas e DevOps**, incluindo infraestrutura como código (IaC), pipelines CI/CD e automação de implantação. **Requisitos:** ----------------- **Competências Obrigatórias** * Pelo menos 3 anos de experiência em funções de Engenharia de Dados, Engenharia de Plataformas de Dados ou Engenharia em Nuvem; * Experiência sólida em principais plataformas em nuvem (AWS, Azure ou GCP) e seus ecossistemas de dados (por exemplo, Glue, ADF, BigQuery, Redshift, Synapse, Databricks); * Experiência prática com Databricks, incluindo notebooks, workflows, Delta Lake e processamento baseado em Spark; * Conhecimento avançado de Apache Spark e conceitos de processamento distribuído de dados; * Domínio sólido de SQL e experiência com plataformas de dados relacionais e analíticas; * Habilidades avançadas de programação em Python (preferencialmente) e PySpark; * Experiência no projeto e implementação de pipelines ETL/ELT e fluxos de trabalho de transformação de dados; * Capacidade comprovada de projetar arquiteturas de dados extremo a extremo e traduzir requisitos empresariais em soluções técnicas escaláveis; * Experiência com técnicas de modelagem de dados (por exemplo, esquema em estrela, arquitetura em medalhões, padrões lakehouse); * Familiaridade com ferramentas e práticas DevOps (Terraform, Docker, pipelines CI/CD); * Excelentes habilidades analíticas, de resolução de problemas e de comunicação com clientes. **Competências Desejáveis** * Certificações Databricks (por exemplo, Data Engineer Associate/Professional); * Experiência com ferramentas de orquestração de dados (Airflow, Glue, ADF, MWAA); * Conhecimento de ferramentas de BI (Power BI, Tableau, QuickSight); * Experiência em habilitação de ML/AI (feature stores, camadas de serviço, ambientes de notebooks); * Experiência com ferramentas de qualidade e observabilidade de dados (por exemplo, Great Expectations, DataFold, Soda); * Compreensão de estruturas de governança de dados e conformidade (ISO 27001, GDPR); * Experiência em ambientes voltados ao cliente ou de consultoria.